第十章 SOFM神经网络 北京科技大学 信息工程学院 付冬梅

Presentation on theme: "第十章 SOFM神经网络 北京科技大学 信息工程学院 付冬梅"— Presentation transcript:

1 第十章 SOFM神经网络 北京科技大学 信息工程学院 付冬梅 fdm2003@163.com 62334967 2006-12-27
北京科技大学 自动化系 付冬梅

2 第十章 SOFM神经网络 自组织竞争神经网络类型 自适应共振理论(Adaptive Resonance Theory，ART)网络
自组织特征映射(self-Organizing Map，SOM)网络 对传(Counter Propagation，CP)网络 协同神经网络(Synergetic Neural Network．SNN) 北京科技大学 自动化系 付冬梅

3 第十章 SOFM神经网络 由芬兰学者Teuvo Kohonen于1981年提出。
基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元 。 I’m Teuvo Kohonen 北京科技大学 自动化系 付冬梅

4 第十章 SOFM神经网络 神经网络系统中的一个主要特点是它具有学习功能。通过学习它可以提取一组数据中的重要特征或找出其内在规律和本质属性（如分布特征，或按某种特征聚类），不断调整本身的学习过程，通常把网络的这种功能称为自学习或自组织功能。这种无教师监督，能自动的向环境学习，并根据学习所得到的重要特征来记忆知识的网络统称为自组织神经网络。 自组织特征映射（SOFM, Self-Organizing Feature Map）是芬兰学者Kohonen提出的一种神经网络模型，它模拟了哺乳动物大脑皮质神经的侧抑制、自组织等特性，1984年Kohonen将芬兰语音精确地组织为因素图，1986年又将运动指令组织成运动控制图，由于这些成功应用使SOFM引起世人的高度重视，形成一类很有特色的无师训练神经网络模型。 北京科技大学 自动化系 付冬梅

5 第十章 SOFM神经网络 SOFM网络的思想来源 SOFM网络的结构模型 SOFM神经元的基本功能函数 SOFM的基本学习算法 仿真实例
几点注意事项 北京科技大学 自动化系 付冬梅

6 第十章 SOFM神经网络 10.1 SOFM网络的思想来源 人脑的自组织性 自组织特征映射的思想来源有两个方面 人脑的矢量量化
尽管目前人们对脑细胞如何组织来协调处理复杂信息的过程和机理还不十分清楚，但已有以下几点共识： (1)原始信息如一句话、一个图形是多维信号，图形可看成一个二维点阵加上三原色颜色等分量。脑皮层尽管有许多沟回，但本质上是一个二维平面的拓扑变形，脑皮层的每个细胞可视作二维平面上一个点。多维信号传递到脑皮层的过程可视作高维空间信号到二维空问信号的降维映射，降维过程去掉了原始信号的次要特征,保留了其主要特征。 北京科技大学 自动化系 付冬梅

7 第十章 SOFM神经网络 (2)信号空间 中具有相近特征的信号被映射到脑皮层中相近区域时，大致保留了信号在 中的概率分布特征及拓扑结构特征，即大脑有自动归类能力，将信号物以类聚。 (3) 以响应最强的一个神经元为中心，形成一个区域，大致来说，中心强度大，离中心越远越弱。 (4)神经细胞之间有侧抑制，存在竞争。这种竞争是通过反馈实现的，对自己给予最大正反馈，对邻居给予一定正反馈，对远处的细胞则给予负反馈即抑制。 北京科技大学 自动化系 付冬梅

8 第十章 SOFM神经网络 图10.1是反馈强度的示意图，平面上细胞按离中心神经元j的距离分成三个区域：①近距离的侧激励区；②稍远一些有一个抑制作用的环形区域；③环外是一个弱激励区，在初步分析时可忽略。图10.2用黑点大小表示侧激励区各神经细胞兴奋的强弱。 图10.1 侧抑制作用示意圈 图10.2 气泡示意图 北京科技大学 自动化系 付冬梅

9 第十章 SOFM神经网络 人脑的矢量量化 矢量量化是20世纪80年代提出的一种数据压缩方法，广泛用于语音及图像数据的传输，其基本思想是将输入空间划分成多个不相交的超多面体，每个超多面体可称为一个区域，每个区域中选一个代表点，称为码本向量，这样凡同一区域的点均用码本向量来表示，数据可大大压缩。如何根据信号的特点来划分区域，如何由代表点重构信号(语音、图象)而不致与原信号失真等问题，本课堂不计划详述，感兴趣的同学可以参考有关文献。 北京科技大学 自动化系 付冬梅

10 第十章 SOFM神经网络 10.2 SOFM网络的结构模型
最初的自组织特征映射是一个单层网络(见图10.3)。各神经元处在一个平面上，一般用矩形或六边形等排列方式。输入端处于平面之外的下侧，每个输入端口与所有神经元均有连接,称为前向权,它们可以迭代调整。在神经元平面上侧，实际上每个神经元还有一个输出端,不再画出,平面上各单元采用全连接，称为侧向权，以构成抑制引起竞争。为了图形的清晰,图3未画出侧向权。侧向抑制机制是通过邻域和学习因子实现的，具体表现见后面的学习算法。 北京科技大学 自动化系 付冬梅

11 第十章 SOFM神经网络 10.2 SOFM网络的结构模型 竞争层 输入层 SOFM神经网络结构 2006-12-27
北京科技大学 自动化系 付冬梅

12 第十章 SOFM神经网络 图10.3 最初的SOFM网络结构示意图 北京科技大学 自动化系 付冬梅

13 第十章 SOFM神经网络 10.3 SOFM神经元的基本功能函数 记 为j个输入端指向第i神经元的权，令 神经元i的输出可以采用两种方式:
1)内积形式 （10.1） 2)欧氏距离形式 （10.2） 采用这两种函数目的在于衡量输入矢量 与单位的权矢量 之 间匹配的程度，内积越大或距离 越小， 与 匹配程度越高。 北京科技大学 自动化系 付冬梅

14 第十章 SOFM神经网络 当所有的权与输入向量均归一化处理 ， 后， 以上两种表示等价。简单证明如下： （10.3）
当所有的权与输入向量均归一化处理 ， 后， 以上两种表示等价。简单证明如下： （10.3） 所以（10.2）的极小对应（10.1）的极大。不过归一化处理后。所有权向量都处在单位球面上，损失了一个维数。当权向量维数高的时候，这种损失对结果影响不会太大，如若维数低，则影响不能忽略，最好用不要归一化处理，直接用（10.2）式。 北京科技大学 自动化系 付冬梅

15 第十章 SOFM神经网络 10.4 SOFM的基本学习算法
1)以发出信号的神经元为圆心，对该神经元近邻的神经元的交互作用表现为兴奋性侧反馈； 2)以发出信号的神经元为圆心，对该神经元远邻的神经元的交互作用表现为抑制性侧反馈。 生物学上的近邻是指从发出信号的神经元为圆心．半径约为50—500µm左右的神经元；远邻是指半径为200µm—2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。 北京科技大学 自动化系 付冬梅

16 第十章 SOFM神经网络 这种局部交互方式如图10.4所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。 图10.4 墨西哥帽示意图 北京科技大学 自动化系 付冬梅

17 第十章 SOFM神经网络 无教师学习 学习是无师的，其目的是调整前向权，但调整过程也体现了侧抑制作用。学习算法步骤如下：
Step1 权值初始化，将每个 赋以一个小的随机值 。 Step2 输入训练样本矢量 ，令t=0。 Step3 用公式(10.2)计算 与所有前向权量矢量之间的距离 Step4 选择获胜单元c，使 北京科技大学 自动化系 付冬梅

18 第十章 SOFM神经网络 Step5 调整 式中 是学习因子，随时间而递减，范围 , 是c的领域，其半径随t而减小。
Step6 令t:=t+1转Step3。 Step7 当 时，停止对当前样本的学习，转Step2。 Step8 重复Step2~Step7，直至所有样本使用完毕。 Step5 调整 式中 是学习因子，随时间而递减，范围 , 是c的领域，其半径随t而减小。 北京科技大学 自动化系 付冬梅

19 第十章 SOFM神经网络 关于学习率函数 的选择。原则上可选一个单调下降函数，至于是线性下降还是负指数下降没有硬性规定，只有一些经验法则。如采用线性下降函数，根据Konhonen本人的经验，前10000步下降要快。后10000步下降要慢。 关于领域 的形状及收缩规律，也只有经验法则。形状一般取矩形、六边形或圆形。为简单起见半径 的缩小可采用线性下降函数，但注意不要下降到0。如果 <1 ，则退化为独活型竞争。 北京科技大学 自动化系 付冬梅

20 第十章 SOFM神经网络 图10.5是两种形状领域的逐步缩小示意图。 图10.5 领域逐步缩小示意图 2006-12-27
北京科技大学 自动化系 付冬梅

21 第十章 SOFM神经网络 关于学习率 和领域 大小的一种统一考虑如下：取 式中 是常数， 是t的单减函数，常数 ，
关于学习率 和领域 大小的一种统一考虑如下：取 式中 是常数， 是t的单减函数，常数 ， 是第i个神经元在平面上的坐标， 是获胜 单元c在平面上的坐标。这种处理方法实际上是以全部神经 元位领域，只不过离c远的地方学习率很小可以忽略罢了。 北京科技大学 自动化系 付冬梅

22 第十章 SOFM神经网络 10.5 MATLAB中SOFM网络的重要函数和基本功能 函 数 名 功 能 newsom()
功 能 newsom() 创建一个自组织特征映射神经网络 plotsom() 绘制自组织特征映射网络的权值矢量 vec2ind() 将单值矢量组变换成下标矢量 compet() 竞争传输函数 midpoint() 中点权值初始化函数 learnsom() 自组织特征映射权值学习规则函数 北京科技大学 自动化系 付冬梅

23 第十章 SOFM神经网络 10.5 MATLAB中SOFM网络的重要函数和基本功能 newsom() 功能 创建一个自组织特征映射网络函数
功能 创建一个自组织特征映射网络函数 格式 net = newsom(PR，[D1，D2，...]，TFCN，DFCN，OLR，OSTEPS，TLR，TND) 说明 net为生成的新BP神经网络；PR为网络输入矢量取值范围的矩阵[Pmin Pmax]；[D1，D2，...]为神经元在多维空间中排列时各维的个数；TFCN为拓扑函数，缺省值为hextop；DFCN为距离函数，缺省值为linkdist；OLR为排列阶段学习速率，缺省值为0.9；OSTEPS为排列阶段学习次数，缺省值为1000；TLR为调整阶段学习速率，缺省值为0.02，TND为调整阶段领域半径，缺省值为1。 北京科技大学 自动化系 付冬梅

24 第十章 SOFM神经网络 10.5 MATLAB中SOFM网络的重要函数和基本功能 plotsom()
功能 绘制自组织特征映射网络图的权值向量函数 格式 (1) plotsom(pos) (2) plotsom(W，D，ND) 说明 式中pos是网络中各神经元在物理空间分布的位置坐标矩阵；函数返回神经元物理分布的拓扑图，图中每两个间距小于1的神经元以直线连接；W为神经元权值矩阵；D为根据神经元位置计算出的间接矩阵；ND为领域半径，缺省值为1；函数返回神经元权值的分布图，图中每两个间距小于ND的神经元以直线连接。 北京科技大学 自动化系 付冬梅

25 第十章 SOFM神经网络 10.5 MATLAB中SOFM网络的重要函数和基本功能 yec2ind() 功能 将单值向量组变换成下标向量
功能 将单值向量组变换成下标向量 格式 ind = vec2ind(vec) 说明 式中，vec为m行n列的向量矩阵x，x中的每个列向量i，除包含一个1外，其余元素均为0， ind为n个元素值为1所在的行下标值构成的一个行向量。 北京科技大学 自动化系 付冬梅

26 第十章 SOFM神经网络 10.5 MATLAB中SOFM网络的重要函数和基本功能 compet() 功能 竞争传输函数。 格式
A = compet(N,FP) 说明 compet is a neural transfer function. Transfer functions calculate a layer's output from its net input. compet(N,FP) takes N and optional function parameters, N：S x Q matrix of net input (column) vectors FP：Struct of function parameters (ignored) 北京科技大学 自动化系 付冬梅

27 第十章 SOFM神经网络 10.5 MATLAB中SOFM网络的重要函数和基本功能 midpoint() 功能 中点权值初始化函数。 格式
W = midpoint(S,PR) 说明 midpoint is a weight initialization function that sets weight (row) vectors to the center of the input ranges. midpoint(S,PR) takes two arguments, S： Number of rows (neurons) PR：R x Q matrix of input value ranges = [Pmin Pmax] and returns an S x R matrix with rows set to (Pmin+Pmax)'/2. 北京科技大学 自动化系 付冬梅

28 第十章 SOFM神经网络 10.5 MATLAB中SOFM网络的重要函数和基本功能 learnsom()
功能 自组织特征映射权值学习规则函数。 格式 [dW,LS] = learnsom(W,P,Z,N,A,T,E,gW, gA,D,LP,LS) 说明 W：S x R weight matrix (or S x 1 bias vector) P：R x Q input vectors (or ones(1,Q)) Z：S x Q weighted input vectors N：S x Q net input vectors A：S x Q output vectors T：S x Q layer target vectors E：S x Q layer error vectors gW：S x R weight gradient with respect to performance gA：S x Q output gradient with respect to performance D：S x S neuron distances LP：Learning parameters, none, LP = [] LS：Learning state, initially should be = [] dW：S x R weight (or bias) change matrix LS：New learning state 北京科技大学 自动化系 付冬梅

29 第十章 SOFM神经网络 10.6 SOFM网络仿真实例
例2-5 人口分类是人口统计中的一个重要指标，现有1999共10个地区的人口出生比例情况如下： 出生男性百分比分别为： ; 出生女性百分比分别为： 北京科技大学 自动化系 付冬梅

30 第十章 SOFM神经网络 10.6 SOFM网络仿真实例 例1 源程序 北京科技大学 自动化系 付冬梅

31 第十章 SOFM神经网络 10.6 SOFM网络仿真实例 北京科技大学 自动化系 付冬梅

32 第十章 SOFM神经网络 10.6 SOFM网络仿真实例 类别5 类别4 类别3 类别1 类别2 测试数据属于类别5 2006-12-27
北京科技大学 自动化系 付冬梅

33 第十章 SOFM神经网络 10.6 SOFM网络仿真实例
用 个神经元的SOFM网络来学习单位正方形内均匀分布的训练数据。训练样本随机产生（见图10.6a），测试样本取单位正方形内均匀点阵（见图10.6b），用方法一测试结果见图10.6c。当输入测试向量（1，1）时，神经元11最活跃，而当输入测试向量（8，8）时，神经元（8，8）最活跃。显然（c）图与（b）图的概率分布及拓补结构特征完全一致。 北京科技大学 自动化系 付冬梅

34 第十章 SOFM神经网络 图10.7是同样数据的方法二测试结果， =100 ， =500，
图10.7是同样数据的方法二测试结果， =100 ， =500， =2000， =10000。可以看出，初始时随机分布的权到 迭代改进100步以后显现出初步规律，2000次后规律更加明 显，约10000次后权向量的概率分布及拓补结构就与测试数 据基本一致了。 图10.7 方法2显示结果 北京科技大学 自动化系 付冬梅

35 第十章 SOFM神经网络 10.6 几点注意事项 (1)为使映射精确，迭代次数 要适当地大，据经验至少要
(1)为使映射精确，迭代次数 要适当地大，据经验至少要 等于神经元个数的500倍，但与 的维数无关。 (2)前1000步， 可以从一个接近1的数开始下降，下降率适 当大点，这个阶段可称之为有序化。在1000步以后减小下 降率，从 逐步下降为0，这个阶段可称为精调。 (3)邻域 太小则映射可能不是全局有序化的，会出现马 赛克效应，使本来应该映射到同一区域的却分别映射到几 个不相邻的小区域。前1000步 可线性缩小，精调时可保 持在适当小的数值上不变。 北京科技大学 自动化系 付冬梅

36 第十章 SOFM神经网络 关于SOFM，kohonen本人有几点评论，叙述如下：
(3) SOFM的主要发展方向有两个：实行真正的分层结构，即若干层SOFM级联起来；将一个大的平面划分成不同的区域，每个区域用一种SOFM，每个区域对应不同的信号源，好像人类脑皮层不同区域分管视、听、嗅、味、触各种不同感觉一样。同时这些区域的边界不需要很清晰。 北京科技大学 自动化系 付冬梅

37 第十章 SOFM神经网络 Mikkulainen构建的Dislex模型 北京科技大学 自动化系 付冬梅

38 第十章 SOFM神经网络 Sardnet模型示意图 北京科技大学 自动化系 付冬梅

39 本章结束，谢谢大家！ 北京科技大学 自动化系 付冬梅