第7章 典型神经网络 7.1 单神经元网络.

Presentation on theme: "第7章 典型神经网络 7.1 单神经元网络."— Presentation transcript:

1 第7章 典型神经网络 7.1 单神经元网络

2 2 神经元模型 图7-1中 为神经元的内部状态， 为阈值， 为输入信号， ， 为表示从单元 到单元 的连接权系数， 单神经元模型可描述为：

3 通常情况下，取 即

4 图7-1 单神经元模型

5 常用的神经元非线性特性有以下四种： （1）阈值型 图7-2 阈值型函数

6 （2）分段线性型 图7-3 分段线性函数

7 （3）Sigmoid函数型 图7-4 Sigmoid函数

8 7.2 BP神经网络 1986年，Rumelhart等提出了误差反向传播神经网 络，简称BP网络（Back Propagation），该网络是 一种单向传播的多层前向网络。 误差反向传播的BP算法简称BP算法，其基本思 想是梯度下降法。它采用梯度搜索技术，以期使网络 的实际输出值与期望输出值的误差均方值为最小。

9 BP网络特点 （1）是一种多层网络，包括输入层、隐含层和输出层； （2）层与层之间采用全互连方式，同一层神经元之间不连接； （3）权值通过δ学习算法进行调节； （4）神经元激发函数为S函数； （5）学习算法由正向传播和反向传播组成； （6）层与层的连接是单向的，信息的传播是双向的。

10 BP网络结构 含一个隐含层的BP网络结构如图7-5所示，图中 为输入层神经元，为隐层神经元，为输出层神经元。

11 图7-5 BP神经网络结构

12 BP网络的逼近 BP网络逼近的结构如图7-6所示，图中k为网络的迭代步骤，u(k)和y(k)为逼近器的输入。BP为网络逼近器，y(k)为被控对象实际输出，yn(k)为BP的输出。将系统输出y(k)及输入u(k)的值作为逼近器BP的输入，将系统输出与网络输出的误差作为逼近器的调整信号。

13 图 BP神经网络逼近

14 用于逼近的BP网络如图7-7所示。 图7-7 用于逼近的BP网络

15 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转至反向传播，将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。

16 （1）前向传播：计算网络的输出。 隐层神经元的输入为所有输入的加权之和： 隐层神经元的输出采用S函数激发： 则

17 （1）前向传播：计算网络的输出。 隐层神经元的输入为所有输入的加权之和： 隐层神经元的输出采用S函数激发： 则

18 输出层神经元的输出： 网络输出与理想输出误差为： 误差性能指标函数为：

19 （2）反向传播：采用δ学习算法，调整各层间的权值。
根据梯度下降法，权值的学习算法如下： 输出层及隐层的连接权值学习算法为： k+1时刻网络的权值为：

20 隐层及输入层连接权值学习算法为： 其中 k+1时刻网络的权值为：

21 如果考虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为：
如果考虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为： 其中, 为学习速率， 为动量因子。

22 阵(即为对象的输出对控制输入的灵敏度信息)算法为：
其中取

23 BP网络的优缺点 BP网络的优点为： （1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系； （2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。 （3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。

24 BP网络的主要缺点为： （1）待寻优的参数多，收敛速度慢； （2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值； （3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。

25 由于BP网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。
由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。

26 BP网络逼近仿真实例 使用BP网络逼近对象： BP网络逼近程序见chap7_1.m

27 BP网络模式识别 由于神经网络具有自学习、自组织和并行处理等特征，并具有很强的容错能力和联想能力，因此，神经网络具有模式识别的能力。

28 在神经网络模式识别中，根据标准的输入输出模式对，采用神经网络学习算法，以标准的模式作为学习样本进行训练，通过学习调整神经网络的连接权值。当训练满足要求后，得到的神经网络权值构成了模式识别的知识库，利用神经网络并行推理算法对所需要的输入模式进行识别。

29 当待识别的输入模式与训练样本中的某个输入模式相同时，神经网络识别的结果就是与训练样本中相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式都不完全相同时，则可得到与其相近样本相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式相差较远时，就不能得到正确的识别结果，此时可将这一模式作为新的样本进行训练，使神经网络获取新的知识，并存储到网络的权值矩阵中，从而增强网络的识别能力。

30 以第p个样本为例，用于训练的BP网络结构如图7-11所示。

31 图7-11 BP神经网络结构

32 网络的学习算法如下： （1）前向传播：计算网络的输出。 隐层神经元的输入为所有输入的加权之和： 隐层神经元的输出 采用S函数激发 ：

33 则 输出层神经元的输出：

34 网络第 个输出与相应理想输出 的误差为： 第p个样本的误差性能指标函数为： 其中N为网络输出层的个数。

35 （2）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下：
输出层及隐层的连接权值 学习算法为：

36 隐层及输入层连接权值 学习算法为： 其中

37 如果考虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为：
如果考虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为： 其中 为学习速率， 为动量因子。

38 7.2.7 仿真实例： 取标准样本为3输入2输出样本，如表7-1所示。
仿真实例：   取标准样本为3输入2输出样本，如表7-1所示。 表7-1 训练样本 输 入 输 出 1 0.5

39 BP网络模式识别程序包括网络训练程序chap7_2a.m和网络测试程序chap7_2b.m。

40 7.3 RBF神经网络 径向基函数(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-Receptive Field）的神经网络结构，因此，RBF网络是一种局部逼近网络，已证明它能任意精度逼近任意连续函数。

41 RBF网络特点 (1) RBF网络的作用函数为高斯函数，是局部的，BP网络的作用函数为S函数，是全局的； (2) 如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题； (3) 已证明RBF网络具有唯一最佳逼近的特性，且无局部极小。

42 RBF网络结构 RBF网络是一种三层前向网络，由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。

43 图7-13 RBF网络结构

44 RBF网络的逼近 采用RBF网络逼近一对象的结构如图7-14所示。

45 图7-14 RBF神经网络逼近

46 在RBF网络结构中， 为网络的输入向量。设RBF网络的径向基向量
，其中hj为高斯基函数： 网络的第j个结点的中心矢量为： 其中，i=1,2,…n

47 设网络的基宽向量为： 为节点的基宽度参数，且为大于零的数。网络的权向量为： k时刻网络的输出为： 设理想输出为y(k)，则性能指标函数为：

48 根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下：

49 其中, 为学习速率， 为动量因子。 阵(即为对象的输出对控制输入的灵敏度信息)算法为： 其中取 。

50 RBF网络逼近仿真实例 使用RBF网络逼近下列对象： RBF网络逼近程序见chap7_3.m。

51 7.4 回归神经网络 对角回归型神经网络（DRNN：Diagonal Recurrent Neural Network）是具有反馈的动态神经网络，该网络能够更直接更生动地反映系统的动态特性，它在BP网络基本结构的基础上，通过存储内部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，DRNN网络代表了神经网络建模和控制的方向。

52 DRNN网络结构 DRNN网络是一种三层前向网络，其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值和阈值，使误差信号减小。 DRNN网络结构如图7-18所示。

53 图7-18 DRNN神经网络结构

54 在该网络中, 设 为网络输入向量, 为输入层第 i个神经元的输入，网络回归层第 j 个神经元的输出为 , 为第 个回归神经元输入总和, 为S函数， 为 DRNN网络的输出。 和 为网络回归层和输出层的权值向量, 为网络输入层的权值向量。

55 DRNN网络的逼近 DRNN网络逼近的结构如图7-19所示，图中k为网络的迭代步骤，u(k)和y(k)为辨识器的输入。DRNN为网络辨识器。y(k)为被控对象实际输出，ym(k)为DRNN的输出。将系统输出y(k)及输入u(k)的值作为辨识器DRNN的输入，将系统输出与网络输出的误差作为辨识器的调整信号。

56 图7-19 DRNN神经网络逼近

57 网络输出层的输出为 网络回归层的输出为 网络回归层的输入为

58 逼近误差为： 性能指标函数为： 学习算法采用梯度下降法

59

60 其中回归层神经元取双函数为 其中， 分别为输入层、回归层和输出层的学习速率， 为惯性系数。

61 DRNN网络逼近仿真实例 使用DRNN网络逼近下列对象： DRNN网络逼近程序见chap7_4.m。