神经信息学 平行分布式理论框架 史忠植 shizz@ics.ict.ac.cn 中科院计算所 2019/4/11

目 录 1. 神经计算 2. 并行分布式理论框架 3. 交互与竞争神经网络 4. 误差反向传播神经网络 5.Hopfield神经网络 目 录 1. 神经计算 2. 并行分布式理论框架 3. 交互与竞争神经网络 4. 误差反向传播神经网络 5.Hopfield神经网络 2019/4/11

神经网络 一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存获取的知识。 2019/4/11

发展历史 萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》  949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。 2019/4/11

发展历史 第一高潮期（1950~1968） 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 2019/4/11

发展历史 反思期（1969~1982）  M. L. Minsky和S. Papert，《Perceptron》，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 2019/4/11

发展历史 第二高潮期（1983~1990）  1982年，J. Hopfield提出Hopfield网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上 2019/4/11

发展历史 第二高潮期（1983~1990）  1984年， J. Hopfield设计研制了后来被人们称为Hopfield网-Tank 电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。  1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 2019/4/11

发展历史  1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年） 自适应共振理论（ART） 自组织特征映射理论 2019/4/11

发展历史  Hinton 等人最近提出了 Helmboltz 机  徐雷提出的 Ying-Yang 机理论模型  甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究, 国内首届神经网络大会是1990年12月在北京举行的。 2019/4/11

并行分布式理论框架 1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McClelland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge 2019/4/11

并行分布式理论框架 PDP模型 1） 一组处理单元（PE或AN） 2） 处理单元的激活状态（ai） 3） 每个处理单元的输出函数（fi） 4）  处理单元之间的连接模式 5）  传递规则（∑wijoi） 6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi） 7）  通过经验修改连接强度的学习规则 8）  系统运行的环境（样本集合） 2019/4/11

神经网络的维数 Various types of neurons Various network architectures Various learning algorithms Various applications 2019/4/11

交互与竞争IAC神经网络 竞争层 输入层 自组织神经网络的典型结构 2019/4/11

竞争学习 相似性测量＿欧式距离法 2019/4/11

竞争学习 相似性测量＿余弦法 2019/4/11

竞争学习原理 竞争学习规则——Winner-Take-All 2019/4/11

竞争学习原理 寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。 欲使两单位向量最相似，须使其点积最大。即： 2019/4/11

竞争学习原理 从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即： 2019/4/11

竞争学习原理 3.网络输出与权值调整 jj* 步骤3完成后回到步骤1继续训练，直到学习率衰减到0。 2019/4/11

前馈神经网络 单层感知器模型 j=1,2,…,m 2019/4/11

单层感知器 oj x1 -1 xn … 净输入： 输出： 2019/4/11

单层感知器 感知器的功能 (1)设输入向量X=(x1 ,x2)T 则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。 oj x1 -1 x2 感知器的功能 单计算节点感知器 (1)设输入向量X=(x1 ,x2)T 输出： 则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。 2019/4/11

单层感知器 感知器的功能 2019/4/11

单层感知器 感知器的功能 (2)设输入向量X=(x1,x2,x3)T x1 oj x2 x3 -1 感知器的功能 (2)设输入向量X=(x1,x2,x3)T 输出： 则由方程 w1jx1+w2jx2+w3j x3–Tj=0 (3.4) 确定了三维空间上的一个分界平面。 2019/4/11

单层感知器 感知器的功能 2019/4/11

多层感知器 网络的拓扑结构 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … W(1) W(2) W(3) W(L) 2019/4/11

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 2019/4/11

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 用两计算层感知器解决“异或”问题 双层感知器 “异或”问题分类 1 用两计算层感知器解决“异或”问题 双层感知器 “异或”问题分类 2019/4/11

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 1 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 2019/4/11

多层感知器 “异或”的真值表 x1 x2 y1 y2 o 1 例四 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 1 例四 用两计算层感知器解决“异或”问题。 双层感知器 “异或”问题分类 2019/4/11

多层感知器 具有不同隐层数的感知器的分类能力对比 2019/4/11

误差反向传播（BP）网路 基于BP算法的多层前馈网络模型 2019/4/11

误差反向传播（BP）网路 基于BP算法的多层前馈网络模型 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 2019/4/11

误差反向传播（BP）网路 3.4.1 基于BP算法的多层前馈网络模型 对于输出层： k=1,2,…,l 对于隐层： j=1,2,…,m 2019/4/11

误差反向传播（BP）网路 3.4.1 基于BP算法的多层前馈网络模型 单极性Sigmoid函数： 双极性Sigmoid函数： 2019/4/11

BP学习算法 一、网络误差 定义与权值调整思路 输出误差E定义： 将以上误差定义式展开至隐层： 2019/4/11

BP学习算法 一、网络误差与权值调整 进一步展开至输入层： 2019/4/11

BP学习算法 BP学习算法 j=0,1,2,…,m; k=1,2,…,l i=0,1,2,…,n; j=1,2,…,m 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m 2019/4/11

BP算法推导 yj xi 对于输出层，式(3.4.9a)可写为 对隐层，式(3.4.9b)可写为 对输出层和隐层各定义一个误差信号，令 2019/4/11

BP算法的程序实现 (1)初始化； (2)输入训练样本对X Xp、d dp 计算各层输出； (3)计算网络输出误差； (4)计算各层误差信号； (5)调整各层权值； (6)检查是否对所有样本完成一次 轮训； (7)检查网络总误差是否达到精 度要求。 2019/4/11

BP算法的程序实现 另一种方法是在所有样本输入之后，计算网络的总误差： 然后根据总误差计算各层的误差信号并调整权值。 2019/4/11

多层前馈网(感知器)的主要能力 (1)非线性映射能力 多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 2019/4/11

多层前馈网(感知器)的主要能力 (2)泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。 (3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 2019/4/11

BP算法的局限性 误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数，即： 误差 E 是 nw+1 维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着 nw 个权值，因此称这样的空间为误差的权空间。 2019/4/11

BP算法的局限性 误差曲面的分布有两个特点： 特点之一：存在平坦区域 2019/4/11

BP算法的局限性 特点之二：存在多个极小点 多数极小点都是局部极小，即使是全局极小往往也不是唯一的，但其特点都是误差梯度为零。 误差曲面的平坦区域会使训练次数大大增加，从而影响了收敛速度；而误差曲面的多极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。 2019/4/11

标准BP算法的改进 标准的BP算法在应用中暴露出不少内在的缺陷： ⑴ 易形成局部极小而得不到全局最优； ⑵ 训练次数多使得学习效率低，收敛速度慢； ⑶ 隐节点的选取缺乏理论指导； ⑷ 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。 2019/4/11

标准BP算法的改进 1 增加动量项 α为动量系数，一般有α∈(0，1) 2 自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且=β(β<1 )； 若经过一批次权值调整后使总误差↓，则本次调整有效，且=θ (θ>1 )。 2019/4/11

标准BP算法的改进 3 引入陡度因子 实现这一思路的具体作法是，在原转移函数中引入一个陡度因子λ 2019/4/11

Hello,I’m John Hopfield 概述 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。 Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。 Hello,I’m John Hopfield Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 2019/4/11

离散Hopfield 神经网络 2019/4/11

离散Hopfield 神经网络 网络模型表示法二 2019/4/11

离散Hopfield 神经网络 相关参数说明 任意神经元 i与 j间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻t 的状态。 2019/4/11

离散Hopfield 神经网络 激励函数 2019/4/11

离散Hopfield 神经网络 离散Hopfield网络的运行规则 (1)串行(异步)工作方式 (2)并行(同步)工作方式 在任—时刻，只有某—神经元 (随机的或确定的选择)依上式变化，而其他神经元的状态不变。 (2)并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。 2019/4/11

离散Hopfield 神经网络 串行(异步)工作方式运行步骤 第一步 对网络进行初始化； 第二步 从网络中随机选取一个神经元； 第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变； 第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。 2019/4/11

离散Hopfield 神经网络 稳定状态 若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态 网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定 2019/4/11

离散Hopfield 神经网络 网络中神经元能量函数变化量 2019/4/11

连续Hopfield 神经网络 网络模型 2019/4/11

连续Hopfield 神经网络 稳定性分析 将下式代入得： 因为 连续Hopfield网络模型是稳定的 2019/4/11

连续Hopfield 神经网络 连续Hopfield网络模型的主要特性 1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性； 2)具有时空整合作用； 3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。 4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。 Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来 2019/4/11

Hopfield 神经网络的MATLAB实现 MATLAB中Hopfield网络的重要函数和功能 函 数 名 功 能 satlin( ) 饱和线性传递函数 satlins( ) 对称饱和线性传递函数 newhop( ) 生成一个Hopfield回归网络 nnt2hop( ) 更新NNT 2.0 Hopfield回归网络 2019/4/11

Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 newhop( ) 功能 生成一个Hopfield回归网络。 格式 net = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 2019/4/11

Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间[0，1]内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。 2019/4/11

Hopfield 神经网络的MATLAB实现 由点阵构成的数字1 由点阵构成的数字2 2019/4/11

程序 2019/4/11

稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理 用著名的Lyapunov函数作为Hopfield网络的能量函数 2019/4/11

Lyapunov函数——能量函数 作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 2019/4/11

当ANk的状态从ok变成ok′ 1、ANk是输入神经元 2019/4/11

当ANk的状态从ok变成ok′ wkk=0 2019/4/11

ΔΕ=-(netk-θk)Δok 结论：网络的目标函数总是下降 ANk状态的变化：Δok=(ok′-ok) Δok=0，ΔΕ =0 netk>θk，netk-θk>0 所以，-(netk-θk)Δok<0故ΔΕ<0 Δok<0, ok′=0& ok=1，ok由1变到0 netk<θk，netk-θk<0 -(netk-θk)Δok<0故ΔΕ<0 结论：网络的目标函数总是下降 2019/4/11

当ANk的状态从ok变成ok′ 2、ANk不是输入神经元 2019/4/11

无论ANk的状态是如何变化的，总有ΔΕ≤ 0 当ANk的状态从ok变成ok′ 无论ANk的状态是如何变化的，总有ΔΕ≤ 0 2019/4/11

联想记忆的结构 自联想 异联想 双联想记忆具有一定的泛化能力 双联想记忆（Bidirectional Associative Memory—BAM）。 双联想记忆具有一定的泛化能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。 2019/4/11

基本的联想记忆结构   W 第1层 输入向量 第2层 输出向量 WT x1 xn ym y1 … 2019/4/11

网络运行 Y=F(XW) X=F(YWT) X=(x1，x2，…，xn) Y=(y1，y2，…，ym) F为神经元的激活函数，一般可采用S形函数 2019/4/11

激活函数——阈值函数 随着λ的增加，该函数趋近于阈值为0的阈值函数。 1 if neti>0 yi= 0 if neti<0 λ2>λ1 λ1 λ2 1/2 2019/4/11

基本BAM的稳定 Kosko(1987)： 基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网 2019/4/11

异联想记忆 网络需要对输入向量进行循环处理的情况 样本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)} 权矩阵 当输入向量中含有“噪音” 样本集所含的信息超出网络的容量 2019/4/11

容量 Kosko（1987），一般情况下，相联存储器的容量不会超过网络最小层神经元的个数min Haines和Hecht-Nielson（1988），“非均匀”网络的容量最多可以达到2min R. J. McEliece、E. C. Posner、E. R. Rodemich 用户随机地选择L个状态 每个向量中有4+log2min个分量为1，其它为-1 98%的向量成为稳定状态 2019/4/11

Hopfield网解决TSP问题 1985年，J. J. Hopfield和D. W. Tank用神经网求解TSP。试验表明，当城市的个数不超过30时，多可以给出最优解的近似解。而当城市的个数超过30时，最终的结果就不太理想了 n个城市间存在n!/(2n)条可能路径 设问题中含有n个城市,用n*n个神经元构成网络 2019/4/11

Hopfield网解决TSP问题 dxy——城市X与城市Y之间的距离； yxi——城市X的第i个神经元的状态： 1 城市X在第i个被访问 wxi,yj——城市X的第i个神经元到城市Y的第j个神经元的连接权。 2019/4/11

Hopfield网用于解决TSP问题 例如：四个城市X、Y、Z、W 城市名 访问顺序标示 1 2 3 4 X Y Z W 2019/4/11

Hopfield网用于解决TSP问题 连接矩阵 1 如果i=j δij= 0 如果i≠j wxi,yj= -Aδxy(1-δij) –Bδij(1-δxy) –C –ζdxy(δji+1+δji-1) 1 如果i=j δij= 0 如果i≠j 2019/4/11

网络的能量函数 2019/4/11

网络的能量函数 A、B、C、D为惩罚因子 第1项 仅当所有的城市最多只被访问一次时取得极小值0。 2019/4/11

网络的能量函数 第2项 仅当每次最多只访问一个城市时取得极小值0。 2019/4/11

网络的能量函数 第3项 当且仅当所有的n个城市一共被访问n次时才取得最小值0。 2019/4/11

网络的能量函数 第4项 表示按照当前的访问路线的安排，所需要走的路径的总长度 2019/4/11

Hopfield网解决TSP问题 n!/2n=10!/20=181440条 它能从近20万条路线中选出最好的路线，显示它的计算能力。 Hopfield网解决TSP问题时显示了它强大的计算能力，若对10个城市的TSP问题来说，可能存在 n!/2n=10!/20=181440条 它能从近20万条路线中选出最好的路线，显示它的计算能力。 2019/4/11