史忠植 中国科学院计算技术研究所 http://www.intsci.ac.cn/ 知识发现（数据挖掘) 第八章 神经网络 Neural Networks 史忠植 中国科学院计算技术研究所 http://www.intsci.ac.cn/ 2017/4/10

目 录 1. 神经计算 2. 并行分布式理论框架 3. 交互与竞争神经网络 4. 误差反向传播神经网络 5. Hopfield神经网络 目 录 1. 神经计算 2. 并行分布式理论框架 3. 交互与竞争神经网络 4. 误差反向传播神经网络 5. Hopfield神经网络 6. 自组织特征映射网络 7. 自适应共振理论 8. 脉冲耦合神经网络 2017/4/10

神经网络 一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存获取的知识。 2017/4/10

发展历史 萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》  949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。 2017/4/10

发展历史 第一高潮期（1950~1968） 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 2017/4/10

发展历史 反思期（1969~1982）  M. L. Minsky和S. Papert，《Perceptron》，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 2017/4/10

发展历史 第二高潮期（1983~1990）  1982年，J. Hopfield提出Hopfield网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上 2017/4/10

发展历史 第二高潮期（1983~1990）  1984年， J. Hopfield设计研制了后来被人们称为Hopfield网-Tank 电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。  1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 2017/4/10

发展历史  1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年） 自适应共振理论（ART） 自组织特征映射理论 2017/4/10

发展历史  Hinton 等人最近提出了 Helmboltz 机  徐雷提出的 Ying-Yang 机理论模型  甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究, 国内首届神经网络大会是1990年12月在北京举行的。 2017/4/10

并行分布式理论框架 1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McClelland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge 2017/4/10

并行分布式理论框架 PDP模型 1） 一组处理单元（PE或AN） 2） 处理单元的激活状态（ai） 3） 每个处理单元的输出函数（fi） 4）  处理单元之间的连接模式 5）  传递规则（∑wijoi） 6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi） 7）  通过经验修改连接强度的学习规则 8）  系统运行的环境（样本集合） 2017/4/10

神经网络的维数 Various types of neurons Various network architectures Various learning algorithms Various applications 2017/4/10

交互与竞争IAC神经网络 竞争层 输入层 自组织神经网络的典型结构 2017/4/10

竞争学习 相似性测量＿欧式距离法 2017/4/10

竞争学习 相似性测量＿余弦法 2017/4/10

竞争学习原理 竞争学习规则——Winner-Take-All 2017/4/10

竞争学习原理 寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。 欲使两单位向量最相似，须使其点积最大。即： 2017/4/10

竞争学习原理 从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即： 2017/4/10

竞争学习原理 3.网络输出与权值调整 jj* 步骤3完成后回到步骤1继续训练，直到学习率衰减到0。 2017/4/10

前馈神经网络 单层感知器模型 j=1,2,…,m 2017/4/10

单层感知器 oj x1 -1 xn … 净输入： 输出： 2017/4/10

单层感知器 感知器的功能 (1)设输入向量X=(x1 ,x2)T 则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。 oj x1 -1 x2 感知器的功能 单计算节点感知器 (1)设输入向量X=(x1 ,x2)T 输出： 则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。 2017/4/10

单层感知器 感知器的功能 2017/4/10

单层感知器 感知器的功能 (2)设输入向量X=(x1,x2,x3)T x1 oj x2 x3 -1 感知器的功能 (2)设输入向量X=(x1,x2,x3)T 输出： 则由方程 w1jx1+w2jx2+w3j x3–Tj=0 (3.4) 确定了三维空间上的一个分界平面。 2017/4/10

单层感知器 感知器的功能 2017/4/10

多层感知器 网络的拓扑结构 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … W(1) W(2) W(3) W(L) 2017/4/10

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 2017/4/10

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 用两计算层感知器解决“异或”问题 双层感知器 “异或”问题分类 1 用两计算层感知器解决“异或”问题 双层感知器 “异或”问题分类 2017/4/10

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 2017/4/10

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 例四 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 1 例四 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 2017/4/10

多层感知器 具有不同隐层数的感知器的分类能力对比 2017/4/10

误差反向传播（BP）网路 基于BP算法的多层前馈网络模型 2017/4/10

误差反向传播（BP）网路 基于BP算法的多层前馈网络模型 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 2017/4/10

误差反向传播（BP）网路 3.4.1 基于BP算法的多层前馈网络模型 对于输出层： k=1,2,…,l 对于隐层： j=1,2,…,m 2017/4/10

误差反向传播（BP）网路 3.4.1 基于BP算法的多层前馈网络模型 单极性Sigmoid函数： 双极性Sigmoid函数： 2017/4/10

BP学习算法 一、网络误差 定义与权值调整思路 输出误差E定义： 将以上误差定义式展开至隐层： 2017/4/10

BP学习算法 一、网络误差与权值调整 进一步展开至输入层： 2017/4/10

BP学习算法 BP学习算法 j=0,1,2,…,m; k=1,2,…,l i=0,1,2,…,n; j=1,2,…,m 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m 2017/4/10

BP算法推导 yj xi 对于输出层，式(3.4.9a)可写为 对隐层，式(3.4.9b)可写为 对输出层和隐层各定义一个误差信号，令 2017/4/10

BP算法的程序实现 (1)初始化； (2)输入训练样本对X Xp、d dp 计算各层输出； (3)计算网络输出误差； (4)计算各层误差信号； (5)调整各层权值； (6)检查是否对所有样本完成一次 轮训； (7)检查网络总误差是否达到精 度要求。 2017/4/10

BP算法的程序实现 另一种方法是在所有样本输入之后，计算网络的总误差： 然后根据总误差计算各层的误差信号并调整权值。 2017/4/10

多层前馈网(感知器)的主要能力 (1)非线性映射能力 多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 2017/4/10

多层前馈网(感知器)的主要能力 (2)泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。 (3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 2017/4/10

BP算法的局限性 误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数，即： 误差 E 是 nw+1 维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着 nw 个权值，因此称这样的空间为误差的权空间。 2017/4/10

BP算法的局限性 误差曲面的分布有两个特点： 特点之一：存在平坦区域 2017/4/10

BP算法的局限性 特点之二：存在多个极小点 多数极小点都是局部极小，即使是全局极小往往也不是唯一的，但其特点都是误差梯度为零。 误差曲面的平坦区域会使训练次数大大增加，从而影响了收敛速度；而误差曲面的多极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。 2017/4/10

标准BP算法的改进 标准的BP算法在应用中暴露出不少内在的缺陷： ⑴ 易形成局部极小而得不到全局最优； ⑵ 训练次数多使得学习效率低，收敛速度慢； ⑶ 隐节点的选取缺乏理论指导； ⑷ 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。 2017/4/10

标准BP算法的改进 1 增加动量项 α为动量系数，一般有α∈(0，1) 2 自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且=β(β<1 )； 若经过一批次权值调整后使总误差↓，则本次调整有效，且=θ (θ>1 )。 2017/4/10

标准BP算法的改进 3 引入陡度因子 实现这一思路的具体作法是，在原转移函数中引入一个陡度因子λ 2017/4/10

Hello,I’m John Hopfield 概述 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。 Hello,I’m John Hopfield Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。 Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 2017/4/10

离散Hopfield 神经网络 2017/4/10

离散Hopfield 神经网络 网络模型表示法二 2017/4/10

离散Hopfield 神经网络 相关参数说明 任意神经元 i与 j间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻t 的状态。 2017/4/10

离散Hopfield 神经网络 激励函数 2017/4/10

离散Hopfield 神经网络 离散Hopfield网络的运行规则 (1)串行(异步)工作方式 (2)并行(同步)工作方式 在任—时刻，只有某—神经元 (随机的或确定的选择)依上式变化，而其他神经元的状态不变。 (2)并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。 2017/4/10

离散Hopfield 神经网络 串行(异步)工作方式运行步骤 第一步 对网络进行初始化； 第二步 从网络中随机选取一个神经元； 第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变； 第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。 2017/4/10

离散Hopfield 神经网络 稳定状态 若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态 网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定 2017/4/10

离散Hopfield 神经网络 网络中神经元能量函数变化量 2017/4/10

连续Hopfield 神经网络 网络模型 2017/4/10

连续Hopfield 神经网络 稳定性分析 将下式代入得： 因为 连续Hopfield网络模型是稳定的 2017/4/10

连续Hopfield 神经网络 连续Hopfield网络模型的主要特性 1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性； 2)具有时空整合作用； 3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。 4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。 Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来 2017/4/10

Hopfield 神经网络的MATLAB实现 MATLAB中Hopfield网络的重要函数和功能 函 数 名 功 能 satlin( ) 饱和线性传递函数 satlins( ) 对称饱和线性传递函数 newhop( ) 生成一个Hopfield回归网络 nnt2hop( ) 更新NNT 2.0 Hopfield回归网络 2017/4/10

Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 newhop( ) 功能 生成一个Hopfield回归网络。 格式 net = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 2017/4/10

Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间[0，1]内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。 2017/4/10

Hopfield 神经网络的MATLAB实现 由点阵构成的数字1 由点阵构成的数字2 2017/4/10

程序 2017/4/10

稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理 用著名的Lyapunov函数作为Hopfield网络的能量函数 2017/4/10

Lyapunov函数——能量函数 作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 2017/4/10

当ANk的状态从ok变成ok′ 1、ANk是输入神经元 2017/4/10

当ANk的状态从ok变成ok′ wkk=0 2017/4/10

ΔΕ=-(netk-θk)Δok 结论：网络的目标函数总是下降 ANk状态的变化：Δok=(ok′-ok) Δok=0，ΔΕ =0 netk>θk，netk-θk>0 所以，-(netk-θk)Δok<0故ΔΕ<0 Δok<0, ok′=0& ok=1，ok由1变到0 netk<θk，netk-θk<0 -(netk-θk)Δok<0故ΔΕ<0 结论：网络的目标函数总是下降 2017/4/10

当ANk的状态从ok变成ok′ 2、ANk不是输入神经元 2017/4/10

无论ANk的状态是如何变化的，总有ΔΕ≤ 0 当ANk的状态从ok变成ok′ 无论ANk的状态是如何变化的，总有ΔΕ≤ 0 2017/4/10

联想记忆的结构 自联想 异联想 双联想记忆具有一定的泛化能力 双联想记忆（Bidirectional Associative Memory—BAM）。 双联想记忆具有一定的泛化能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。 2017/4/10

基本的联想记忆结构   W 第1层 输入向量 第2层 输出向量 WT x1 xn ym y1 … 2017/4/10

网络运行 Y=F(XW) X=F(YWT) X=(x1，x2，…，xn) Y=(y1，y2，…，ym) F为神经元的激活函数，一般可采用S形函数 2017/4/10

激活函数——阈值函数 随着λ的增加，该函数趋近于阈值为0的阈值函数。 1 if neti>0 yi= 0 if neti<0 λ2>λ1 λ1 λ2 1/2 2017/4/10

基本BAM的稳定 Kosko(1987)： 基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网 2017/4/10

异联想记忆 网络需要对输入向量进行循环处理的情况 样本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)} 权矩阵 当输入向量中含有“噪音” 样本集所含的信息超出网络的容量 2017/4/10

容量 Kosko（1987），一般情况下，相联存储器的容量不会超过网络最小层神经元的个数min Haines和Hecht-Nielson（1988），“非均匀”网络的容量最多可以达到2min R. J. McEliece、E. C. Posner、E. R. Rodemich 用户随机地选择L个状态 每个向量中有4+log2min个分量为1，其它为-1 98%的向量成为稳定状态 2017/4/10

Hopfield网解决TSP问题 1985年，J. J. Hopfield和D. W. Tank用神经网求解TSP。试验表明，当城市的个数不超过30时，多可以给出最优解的近似解。而当城市的个数超过30时，最终的结果就不太理想了 n个城市间存在n!/(2n)条可能路径 设问题中含有n个城市,用n*n个神经元构成网络 2017/4/10

Hopfield网解决TSP问题 dxy——城市X与城市Y之间的距离； yxi——城市X的第i个神经元的状态： 1 城市X在第i个被访问 wxi,yj——城市X的第i个神经元到城市Y的第j个神经元的连接权。 2017/4/10

Hopfield网用于解决TSP问题 例如：四个城市X、Y、Z、W 城市名 访问顺序标示 1 2 3 4 X Y Z W 2017/4/10

Hopfield网用于解决TSP问题 连接矩阵 1 如果i=j δij= 0 如果i≠j wxi,yj= -Aδxy(1-δij) –Bδij(1-δxy) –C –ζdxy(δji+1+δji-1) 1 如果i=j δij= 0 如果i≠j 2017/4/10

网络的能量函数 2017/4/10

网络的能量函数 A、B、C、D为惩罚因子 第1项 仅当所有的城市最多只被访问一次时取得极小值0。 2017/4/10

网络的能量函数 第2项 仅当每次最多只访问一个城市时取得极小值0。 2017/4/10

网络的能量函数 第3项 当且仅当所有的n个城市一共被访问n次时才取得最小值0。 2017/4/10

网络的能量函数 第4项 表示按照当前的访问路线的安排，所需要走的路径的总长度 2017/4/10

Hopfield网解决TSP问题 n!/2n=10!/20=181440条 它能从近20万条路线中选出最好的路线，显示它的计算能力。 Hopfield网解决TSP问题时显示了它强大的计算能力，若对10个城市的TSP问题来说，可能存在 n!/2n=10!/20=181440条 它能从近20万条路线中选出最好的路线，显示它的计算能力。 2017/4/10

概 述 自组织神经网络，又称为自组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。 概 述 自组织神经网络，又称为自组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。 自组织神经网络属于前向神经网络类型，采用无导师学习算法， 自组织特征映射神经网络不仅能够像自组织竞争神经网络一样学习输入的分布情况，而且可以学习神经网络的拓扑结构。 2017/4/10

概 述 自组织竞争神经网络类型 自组织特征映射(self-Organizing Map，SOM)网络 概 述 自组织竞争神经网络类型 自组织特征映射(self-Organizing Map，SOM)网络 自适应共振理论(Adaptive Resonance Theory，ART)网络 对传(Counter Propagation，CP)网络 协同神经网络(Synergetic Neural Network．SNN) 2017/4/10

自组织特征映射神经网络结构 由芬兰学者Teuvo Kohonen于1981年提出 I’m Teuvo Kohonen 基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元 Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。 I’m Teuvo Kohonen 2017/4/10

SOM网的生物学基础 Kohonen认为人的大脑有如下特点： 1．大脑的神经元虽然在结构上相同，但是它们的排序不同。排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。 2．大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感。 3．根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等。 4．大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。 2017/4/10

SOM网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。 2017/4/10

自组织特征映射神经网络结构 竞争层 输入层 SOM神经网络结构 2017/4/10

SOM网的拓扑结构 SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。 2017/4/10

SOM网的权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示： 2017/4/10

SOM网的权值调整域 以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。 2017/4/10

自组织特征映射网络的学习算法 自组织特征映射学习算法原理 类似度准则 Kohonen自组织特征映射算法，能够自动找出输入数据之间的类似度，将相似的输入在网络上就近配置。因此是一种可以构成对输入数据有选择地给予响应的网络。 类似度准则 欧氏距离 2017/4/10

自组织特征映射网络的学习算法 自组织特征映射学习算法步骤 (1)网络初始化 (2)输入向量 (3) 计算映射层的权值向量和输入向量的距离 用随机数设定输入层和映射层之间权值的初始值 (2)输入向量 把输入向量输入给输入层 (3) 计算映射层的权值向量和输入向量的距离 映射层的神经元和输入向量的距离，按下式给出 2017/4/10

自组织特征映射网络的学习算法 自组织特征映射学习算法步骤 (4) 选择与权值向量的距离最小的神经元 计算并选择使输入向量和权值向量的距离最小的神经元，把其称为胜出神经元并记为 ，并给出其邻接神经元集合。 (5)调整权值 胜出神经元和位于其邻接神经元的权值，按下式更新： (6)是否达到预先设定的要求如达到要求则算法结束，否则返回(2)，进入下一轮学习 2017/4/10

自组织特征映射网络的学习算法 邻域函数 由邻域函数可以看到，以获胜神经元为中心设定了一个邻域半径，称为胜出邻域。学习初期，胜出神经元和其附近的神经元全部接近当时的输入向量，形成粗略的映射。 随着学习的进行而减小，胜出邻域变窄，胜出神经元附近的神经元数变少。因此，学习方法是一种从粗调整向微调整变化，最终达到预定目标的过程。 2017/4/10

Kohonen学习算法程序流程 2017/4/10

Hierarchical and Partitive Approaches Partitive algorithm Determine the number of clusters. Initialize the cluster centers. Compute partitioning for data. Compute (update) cluster centers. If the partitioning is unchanged (or the algorithm has converged), stop; otherwise, return to step 3 k-means error function To minimize error function 2017/4/10

Hierarchical and Partitive Approaches Hierarchical clustering algorithm (Dendrogram) Initialize: Assign each vector to its own cluster Compute distances between all clusters. Merge the two clusters that are closest to each other. Return to step 2 until there is only one cluster left. Partition strategy Cut at different level 2017/4/10

Hierarchical SOM GHSOM – Growing Hierarchical Self-Organizing Map grow in size in order to represent a collection of data at a particular level of detail 2017/4/10

自组织网络学习算法的MATLAB实现 MATLAB中自组织神经网络的重要函数和基本功能 函 数 名 功 能 newsom() 功 能 newsom() 创建一个自组织特征映射神经网络 plotsom() 绘制自组织特征映射网络的权值矢量 vec2ind() 将单值矢量组变换成下标矢量 compet() 竞争传输函数 midpoint() 中点权值初始化函数 learnsom() 自组织特征映射权值学习规则函数 2017/4/10

自组织网络学习算法的MATLAB实现 MATLAB中自组织神经网络的重要函数和基本功能 newsom() 功能 创建一个自组织特征映射网络函数 格式 net = newsom(PR，[D1，D2，...]，TFCN，DFCN，OLR，OSTEPS，TLR，TND) 说明 net为生成的新BP神经网络；PR为网络输入矢量取值范围的矩阵[Pmin Pmax]；[D1，D2，...]为神经元在多维空间中排列时各维的个数；TFCN为拓扑函数，缺省值为hextop；DFCN为距离函数，缺省值为linkdist；OLR为排列阶段学习速率，缺省值为0.9；OSTEPS为排列阶段学习次数，缺省值为1000；TLR为调整阶段学习速率，缺省值为0.02，TND为调整阶段领域半径，缺省值为1。 2017/4/10

自组织网络学习算法的MATLAB实现 plotsom() 功能 绘制自组织特征映射网络图的权值向量 函数 格式 功能 绘制自组织特征映射网络图的权值向量 函数 格式 (1) plotsom(pos) (2) plotsom(W，D，ND) 说明 式中pos是网络中各神经元在物理空间分布的位置坐标矩阵；函数返回神经元物理分布的拓扑图，图中每两个间距小于1的神经元以直线连接；W为神经元权值矩阵；D为根据神经元位置计算出的间接矩阵；ND为领域半径，缺省值为1；函数返回神经元权值的分布图，图中每两个间距小于ND的神经元以直线连接。 2017/4/10

自组织网络学习算法的MATLAB实现 yec2ind() 功能 将单值向量组变换成下标向量 格式 ind = vec2ind(vec) 功能 将单值向量组变换成下标向量 格式 ind = vec2ind(vec) 说明 式中，vec为m行n列的向量矩阵x，x中的每个列向量i，除包含一个1外，其余元素均为0， ind为n个元素值为1所在的行下标值构成的一个行向量。 2017/4/10

自组织网络学习算法的MATLAB实现 例1 人口分类是人口统计中的一个重要指标，现有1999共10个地区的人口出生比例情况如下： 出生男性百分比分别为：0.5512 0.5123 0.5087 0.5001 0.6012 0.5298 0.5000 0.4965 0.5103 0.5003; 出生女性百分比分别为：0.4488 0.4877 0.4913 0.4999 0.3988 0.4702 0.5000 0.5035 0.4897 0.4997 2017/4/10

自组织网络学习算法的MATLAB实现 例1 源程序 2017/4/10

例1 SOM网络权值分布图 2017/4/10

例1 SOM网络数据分类图 测试数据属于类别5 类别5 类别4 类别3 类别2 类别1 2017/4/10

自组织语义图 利用词与词在文档中的上下文关系，将词表示成一个向量，然后用表示词的向量作为SOM网络的输入，聚类，输出形成一个词汇类别图（Word category map） 在这个图中，意义相近的词聚在一起，组成一个词类，词在词汇类别图中的位置可以通过快速Hash的方法查到。 2017/4/10

自组织语义图：一种将词向量化的方法 在一个文档集中考虑词与词之间的上下文关系。设Ii(d)表示相对于第i个词位移为d的位置上出现的词集合（有可能出现多次），例如，Ii(1)表示第i个词的所有前趋邻接词 用向量xi表示第i个词，对位移集{d1,…,dN}： ， 其中， 表示 中词的数量 一般地，为计算简单，只取d=1和d=-1 2017/4/10

自组织语义图：另一种对中文词汇向量化的方法 对每一个词，在文档集合中出现该词的时候会伴随一些修饰词。因此可以用修饰词来表示该词，提供该词的一些语义信息 例如对名词“大学”，会出现一些修饰词如“本科”、“重点”、“合格”等，则定义，大学={本科，重点，合格，…} 2017/4/10

自组织语义图：另一种对中文词汇向量化的方法 一般地，词wi(i=1,2,…,N)为： 其中ni表示修饰词个数 定义词wi的向量表示为： 其中， ， ； ， cij表示词wi和词wj的修饰词集合中都出现的修饰词个数 将词用这种向量表示后，作为一个SOM网络的输入，可以聚类形成中文语义图。 2017/4/10

自组织语义图：示例 2017/4/10

利用SOM进行文本聚类：预处理 去掉非文本信息 去掉在整个文档集合中出现次数小于50次的词 去停用词 经过上述处理后，词的个数由 1 127 184 减少为 63 773 2017/4/10

利用SOM进行文本聚类：Word category map 最终产生 13 432 个词类单元 （ 63 773  13 432） 2017/4/10

利用SOM进行文本聚类：Document map 利用上面产生的词类将文档向量化后，每篇文档表示为一个 13 432 维的向量，再利用随机映射(Random mapping method)的降维方法，向量维数减少到 315 维 将这 315 维的向量作为一个 SOM 的输入 相关的结果可以参见http://websom.hut.fi/websom/ 2017/4/10

利用SOM进行文本聚类 2017/4/10

SOM的特点 自组织映射（Self-organizing Maps，SOM）算法是一种无导师学习方法 具有良好的自组织 可视化 得到了广泛的应用和研究。 2017/4/10

脉冲耦合神经网络 随着生物神经学的研究和发展，Eckhorn等通过对小型哺乳动物大脑视觉皮层神经系统工作机理的仔细研究，提出了一种崭新的网络模型脉冲耦合神经网络模型Pulse-Coupled Neural Network, PCNN )。PCNN来源于对哺乳动物猫的视觉皮层神经细胞的研究成果，具有同步脉冲激发现象、阈值衰减及参数可控性等特性。由于其具有生物学特性的背景、以空间邻近和亮度相似集群的特点，因此在数字图像处理等领域具有广阔的应用前景。将PCNN的最新理论研究成果与其他新技术相结合，开发出具有实际应用价值的新算法是当今神经网络研究的主要方向之一。 2017/4/10

脉冲耦合神经网络 1952年，Hodgkin与Huxley开始研究神经元电化学特性[216]。1987年，Charles M. Gray等发现猫的初生视觉皮层有神经激发相关振荡现象[172； 173]。1989年,Reinhard Eckhorn 和Charles M. Gray研究了猫的视觉皮层，提出了具有脉冲同步发放特性的网络模型[106；173]。1990年，Reinhard Eckhorn根据猫的大脑皮层同步脉冲发放现象，提出了展示脉冲发放现象的连接模型[107]。对猴的大脑皮层进行的试验中，也得到了相类似的试验结果。1994年，Johnson发表论文，阐述了PCNN的周期波动现象及在图像处理中具有旋转、可伸缩、扭曲、强度不变性[244]。通过对Eckhorn提出的模型进行改进，就形成脉冲耦合神经网络（PCNN）模型。于1999年IEEE神经网络会刊出版了脉冲耦合神经网络专辑. 国内也于20世纪90年代末开始研究脉冲耦合神经网络。 2017/4/10

脉冲耦合神经网络 为了更进一步提高性能，必须降低计算复杂度，即要减少神经元连接数。Ekblad, U.和J.M. Kinser于2004年提出了交叉皮层模型（Intersecting Cortical Model, ICM）提高图像处理的速度。 2017/4/10

脉冲耦合神经网络 视觉皮层各个区域分别用V1、V2、V3、V4、V5表示。V1表示条纹状视觉皮层区域，它对图像很少进行预处理，但包含着丰富的图像细节信息。V2进行视觉映射，视觉图谱信息少于Vl。V3、V4、V5可以是独立处理色彩、静态和运动信息的特定功能区域。 2017/4/10

Hodgkin-Huxley模型 20世纪50年代，Hodgkin和Huxley研究哺乳动物视觉皮层细胞，提出了膜电位的运行模型。 其中，I是通过膜的离子电流，m表示通道打开的概率，G表示钠、钾等离子的电导和漏电导，E表示总电位。m随时间的变化率为: 其中，am是小颗粒未通过通道的比例，bm是通过通道的比例。am和bm都取决于总电位E，并且对钠离子Na+和钾离子K+具有不同的值。 2017/4/10

FitzHugh-Nagumo模型 20世纪60年代初，对神经细胞膜及轴突进行理论分析和定量模拟，提出FitzHugh-Nagumo模型。在此模型中，神经元的行为用一个范德坡振荡器(van der Pol oscillator)进行描述。该模型有多种描述形式，但每种形式本质是相同的，即用一个耦合振荡器来描述一个神经元。例如，Labbi等描述神经元的膜电势x和电压恢复量y之间的相互作用如下 2017/4/10

Eckhorn模型 1990年，根据猫的视皮层的同步振荡现象，Eckhorn提出一个脉冲神经网络模型，如图所示。这个模型由许多相互连接的神经元构成，每个神经元包括两个功能上截然不同的输入部分：分别是常规的馈接（Feeding）输入，和起调制作用的连接（Linking）输入。而这两部分的关系并非像传统神经元那样是加耦合的关系，而是乘耦合的关系。 2017/4/10

Eckhorn模型 一般表示为 2017/4/10

脉冲耦合神经网络 神经元主要有两个功能单元构成:馈接输入域和连接输入域，分别通过突触连接权值M和K来与其邻近的神经元相连。两功能单元都要进行迭代运算，迭代过程中按指数规律衰减。馈接输入域多加一个外部激励S。 2017/4/10

Bayes连接域网络模型 竞争前的发放概率 竞争后的发放概率 2017/4/10

特征捆绑的计算模型 图像理解是一个高层的感知任务，基于Bayes连接域网络模型BLFN，提出了一种特征捆绑计算模型，能够实现物体知觉的整体识别。 2017/4/10

模拟实验（1）一个具体问题 2017/4/10

模拟实验（2）问题的简化 2017/4/10

模拟实验（3）模型的体系结构 对象Man 对象Woman Linking输入 对象Woman的特征 对象Man的特征 Feeding输入 底层视觉特征 2017/4/10

模拟实验（4）实验结果A 对象Man 对象Man的特征 对象Woman 对象Woman的特征 2017/4/10

模拟实验（5）实验结果B 递归次数 1 2 3 4 5 神经元的发放概率 M1 0.144 0.994 1.000 M2 0.577 0.965 M3 0.614 0.949 M4 0.499 0.522 M5 0.505 0.333 M6 0.363 0.773 M 0.497 0.741 W10 0.803 0.020 0.000 W11 0.709 0.011 W12 0.102 0.013 W13 0.675 W14 0.535 W 0.503 0.259 2017/4/10

结论 Bayesian Linking Field模型能够在完成感知任务的同时实现特征捆绑 特征捆绑与感知是同时完成的，它们相辅相成、相互促进 特征捆绑是通过振荡完成，而不是简单的bottom-up或者top-down过程 在特征捆绑的同时，模型完成了视觉特征的选择，相关特征被增强，无关特征被忽略 2017/4/10

指纹识别 Bayesian Linking Field模型能够在完成感知任务的同时实现特征捆绑 特征捆绑与感知是同时完成的，它们相辅相成、相互促进 特征捆绑是通过振荡完成，而不是简单的bottom-up或者top-down过程 在特征捆绑的同时，模型完成了视觉特征的选择，相关特征被增强，无关特征被忽略 2017/4/10

指纹识别 2017/4/10

指纹识别 像素初级剥除 像素精细修剪 2017/4/10

指纹识别 Bayesian Linking Field模型能够在完成感知任务的同时实现特征捆绑 特征捆绑与感知是同时完成的，它们相辅相成、相互促进 特征捆绑是通过振荡完成，而不是简单的bottom-up或者top-down过程 在特征捆绑的同时，模型完成了视觉特征的选择，相关特征被增强，无关特征被忽略 2017/4/10

指纹识别 指纹识别工作流程 2017/4/10