单输入神经网络的性能比较 以及 二输入Legendre神经网络的建立

Presentation on theme: "单输入神经网络的性能比较 以及 二输入Legendre神经网络的建立"— Presentation transcript:

1 单输入神经网络的性能比较 以及 二输入Legendre神经网络的建立
专 业：自动化 答辩人：陈锦浩 学号：

2 1) 前言 2) 多类单输入多项式神经网络预测能力比较 3) 二输入Legendre正交基神经网络 4) 总结与展望

3 前言 研究现状: 1）人为给定期望逼近精度 2）数据预测的广泛应用 3）多输入的现实系统 4）多输入多项式神经网络 缺少权值与结构确定算 法
4）多输入多项式神经网络 缺少权值与结构确定算 法 对于神经网络，其部分研究现状如下：现有的结构确定算法需要人为给定期望逼近精度；实际中经常需要对数据进行预测；缺少适用于多输入系统的多输入多项式神经网络；没有用于多输入多项式网络的结构确定算法。

4 前言 研究现状: 研究内容: 无需给定参数，适用于多种网络的结构确定法 1）人为给定期望逼近精度 确定预测效果好的网络
二输入Legendre网络 适用于二输入网络的权值与结构确定法 1）人为给定期望逼近精度 2）数据预测的广泛应用 3）多输入的现实系统 4）多输入多项式神经网络 缺少权值与结构确定算 法 针对这些问题，本文将主要研究以下内容：首先，设计一种无需给定参数的，并且可以自动确定多种多项式神经网络的最优结构的算法；接下来，通过这个统一的算法比较六种多项式神经网络的学习和预测性能；然后，在第三章中，我们将创新性地提出一种二输入Legendre神经网络，并设计适用于该二输入网络的权值与结构确定法。

5 多类单输入多项式神经网络预测能力比较 2.1 单输入多项式神经网络模型 Legendre多项式 Hermite多项式
第一类Chebyshev多项式第二类Chebyshev多项式Bernoulli多项式 幂函数 在第本章中，我们所研究单输入三层前向神经网络结构如图所示，其中，各个神经元的阈值均设为0，并且输入层到隐层的权值设置为1，并且，我们将通过把这六种多项式作为隐层激励函数构建六种不同的多项式神经网络，

6 多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 单输入多项式神经网络中隐层与输出层的最优权值可以直接确定为
对于这样的网络结构，其权值可以通过权值直接确定法一步求得，

7 多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 公式形式和相关变量定义如下。

8 多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 定义均方误差E 为 学习数据量 第 q 个期望输出 第 q 个输入
另外，我们对均方误差作如下定义。根据以往的研究经验，我们知道随着神经元数的增加，均方误差MSE会先减少后增加，

9 多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 ：当前网络的均方误差； ：当前找到的最小均方误差；
：当前网络隐层神经元数； ：当前找到的最优网络隐层神经元数。 因此我们通过不断增加神经元数，研究均方误差的变化，当连续两次增加神经元数都导致均方误差的增加，我们便确定该误差最小值对应的结构为最优结构

10 多类单输入多项式神经网络预测能力比较 2.3 数值验证 接下来，我们将展示以下三个目标函数 的仿真结果：
接下来，我们通过以下这三个目标函数来验证算法的有效性

11 多类单输入多项式神经网络预测能力比较 2.3 数值验证
网络隐层激励函数 学习时间(s) 最优神经元数 最优学习误差 目 标 函 数 (1) Legendre 22 8.8205 Hermite 15 1.1156 Chebyshev-I 21 1.3372 Chebyshev-II 2.0007 Bernoulli 13 3.8108 幂函数 0.142 5.8051 (2) 1.8475 14 3.1738 20 3.6245 4.9407 7.5882 1.0039 (3) 5.2454 12 1.1204 1.5937 6.0244 5.15 4.4561 该表为各种多项式网络通过前述算法所得到的学习结果，从中可以发现，算法的学习时间短，学习误差极小

12 多类单输入多项式神经网络预测能力比较 2.3 数值验证
网络隐层激励函数 学习时间(s) 最优神经元数 最优学习误差 目 标 函 数 (1) Legendre 22 8.8205 Hermite 15 1.1156 Chebyshev-I 21 1.3372 Chebyshev-II 2.0007 Bernoulli 13 3.8108 幂函数 0.142 5.8051 (2) 1.8475 14 3.1738 20 3.6245 4.9407 7.5882 1.0039 (3) 5.2454 12 1.1204 1.5937 6.0244 5.15 4.4561 而对于Hermite和Bernoulli网络，虽然其最优神经元数都较小，学习时间较短，然而其学习误差相对较大。

13 多类单输入多项式神经网络预测能力比较 2.3 数值验证
网络隐层激励函数 (0.6,0.7] 预测误差 (0.7,0.8] 预测误差 (0.8,0.9] 预测误差 (0.9,1] 预测误差 目 标 函 数 (1) Legendre 4.2237 3.1051 0.2345 Hermite 33.816 Chebyshev-I 1.9334 4.6162 1.0373 Chebyshev-II Bernoulli 1.1305 0.9175 幂函数 (2) 3.1465 1.8091 1.1515 1.0988 8.9055 8.0518 2.3982 9.0677 1.1509 3.1438 1.809 3.8131 8.0515 (3) 1.1378 1.4303 0.1297 8.286 2.868 1.7407 1.1377 1.1381 7.5296 0.1556 7.7271 该表是各个多项式神经网络在最优结构下对三个目标函数预测误差 ，从表中，我们可以发现，六种网络均有一定的预测能力

14 多类单输入多项式神经网络预测能力比较 2.3 数值验证 但是，相比较而言，其中的Hermite和Bernoulli网络的预测能力较弱
网络隐层激励函数 (0.6,0.7] 预测误差 (0.7,0.8] 预测误差 (0.8,0.9] 预测误差 (0.9,1] 预测误差 目 标 函 数 (1) Legendre 4.2237 3.1051 0.2345 Hermite 33.816 Chebyshev-I 1.9334 4.6162 1.0373 Chebyshev-II Bernoulli 1.1305 0.9175 幂函数 (2) 3.1465 1.8091 1.1515 1.0988 8.9055 8.0518 2.3982 9.0677 1.1509 3.1438 1.809 3.8131 8.0515 (3) 1.1378 1.4303 0.1297 8.286 2.868 1.7407 1.1377 1.1381 7.5296 0.1556 7.7271 但是，相比较而言，其中的Hermite和Bernoulli网络的预测能力较弱

15 (d) 第二类Chebyshev多项式神经网络
多类单输入多项式神经网络预测能力比较 2.3 数值验证 目标函数（1） (c) 第一类Chebyshev多项式 神经网络 (a) Legendre多项式神经网络 (b) Hermite多项式神经网络 图为六种网络在最优结构下对函数（1）的学习和预测效果 (d) 第二类Chebyshev多项式神经网络 (e) Bernoulli多项式神经网络 (f) 幂激励神经网络

16 (c) 第一类Chebyshev多项式神经网络 (d) 第二类Chebyshev多项式神经网络
多类单输入多项式神经网络预测能力比较 2.3 数值验证 目标函数（2） (c) 第一类Chebyshev多项式神经网络 (a) Legendre多项式神经网络 (b) Hermite多项式神经网络 这是对目标函数（2）的学习和预测效果，从这两组图中，我们可以更清晰地得到前述结论，也即Hermite和Bernoulli网络的预测能力较差。 (d) 第二类Chebyshev多项式神经网络 (e) Bernoulli多项式神经网络 (f) 幂激励神经网络

17 多类单输入多项式神经网络预测能力比较 2.4 本章小结 1）构建六种单输入多项式神经网络； 2）设计统一的，无需给定参数的权值与结构确定法；
3）研究比较了六种网络的学习和预测性能。 本章中，我们首先构建了六种单输入多项式神经网络，然后建立了一种无需人为给定参数的，统一的权值与结构确定法，最后，通过该算法具体研究比较了六种网络的学习和预测能力，发现Hermite和Bernoulli的学习和预测能力相对较差。 注：本章已整理成论文准备投稿《系统仿真学报》

18 二输入Legendre正交基神经网络 3.1 理论基础
引理1. 对于两个连续独立变量 x1 和 x2 ，给定连续目标函数 F(x1, x2)，存在多项式 gk(x1) 和 hk(x2) (k=1,2,3,···) 使得 接下来，我们进入第三章“二输入Legendre正交基神经网络”。在构建这样一个二输入网络之前，我们先给出以下引理，注意到，我们可以通过将加权的Legendre多项式替换gkhk而得到如下形式。 多项式权值 Legendre多项式

19 二输入Legendre正交基神经网络 3.1 理论基础 进一步的推导即可得到下式。

20 二输入Legendre正交基神经网络 3.1 理论基础 限制法则I 且 ， ; 限制法则II 且 ， 。 i K 限制法则I 限制法则II
2 [1] 1 3 [2 2] 4 [2 1] [3 3 3] 9 [3 2 1] 6 5 [ ] 16 [ ] 10 [ ] 25 [ ] 15 7 [ ] 36 [ ] 21 8 [ ] 49 [ ] 28 [ ] 64 [ ] [ ] 81 [ ] 45 限制法则I 且 ， ; 限制法则II 且 ， 。 在给出网络结构之前，我们再提出两个限制法则，为了便于理解，我们这里列举了i从2到10，两种限制法则的不同增长情况。由该表我们可以很明显地看出，限制法则II的增长速度约为法则I速度的一半。

21 二输入Legendre正交基神经网络结构
3.2 网络模型与算法 这就是二输入Legendre神经网络的结构，其中，我们将所有神经元的阈值设为0，输入层到隐层的权值设为1，隐层神经元的激励函数由两个Legendre多项式相乘得到。 二输入Legendre正交基神经网络结构

22 二输入Legendre正交基神经网络 3.2 网络模型与算法 接下来，我们通过以下三个目标函数研 究网络学习误差以及神经元数间的关系：
为了设计出适用于该网络的算法，我们通过这三个函数研究网络的学习误差与神经元数间的关系

23 二输入Legendre正交基神经网络 3.2 网络模型与算法 采用限制法则I 目标函数 (4) (5) (6)

24 二输入Legendre正交基神经网络 3.2 网络模型与算法 采用限制法则II 目标函数 (4) (5) (6)

25 二输入Legendre正交基神经网络 3.2 网络模型与算法 ：当前网络的均方误差； ：当前找到的最小均方误差； ：当前网络隐层神经元数；
：当前找到的最优网络隐层神经元数； ：当前网络的隐层神经元数目； ：当前找到的最优网络隐层神经元数。 根据以上结论，通过采用前述的两种限制法则，我们可以将前面适用于单输入网络的权值与结构确定法拓展成适用于二输入Legendre正交基神经网络的权值直接确定法。具体流程如图所示。

26 二输入Legendre正交基神经网络 3.3 数值实验结果 目标函数 最优神经元数 最优学习误差 检验误差 学习时间(s) 限 制 法 则
I （4） 2869 9.240 6.606 （5） 2108 2.934 6.726 （6） 1014 4.194 2.403 73.346 II 406 5.937 9.928 13.731 276 2.454 8.715 5.309 231 2.645 2.926 3.570 针对前述的三个目标函数，我们利用这两种算法确定出二输入Legendre神经网络的相应的最优网络结构，数据如表中所示。通过表中数据我们可以知道，由两种算法所确定的网络结构具有优越的学习和泛化能力。

27 二输入Legendre正交基神经网络 3.3 数值实验结果 目标函数（5） 采用限制法则I的 学习结果 (c) 采用限制法则I的 校验结果
校验误差 目标函数（5） 这是针对目标函数（5），通过两种算法所确定的最优网络结构的学习和泛化结果展示图。由图可得到与前面类似的结论，所构建的二输入Legendre正交基神经网络具有优越的学习和泛化能力 (b) 采用限制法则II的 学习结果 (d) 采用限制法则II的 校验结果 (f) 采用限制法则II的 校验误差

28 二输入Legendre正交基神经网络 3.3 数值实验结果 目标函数（6） (c) 采用限制法则I的 预测和校验结果 采用限制法则I的
学习结果 (e) 采用限制法则I的 预测和校验误差 目标函数（6） 这是针对函数（6），二输入网络在最优网络结构下的学习、泛化和预测结果。由这些结果，我们可以得知，该网络具有较强的预测能力，预测精度达到10^-7以上。 (b) 采用限制法则II的 学习结果 (f) 采用限制法则II的 预测和校验误差 (d) 采用限制法则II的 预测和校验结果

29 二输入Legendre正交基神经网络 3.4 本章小结 1）设计二输入Legendre正交基神经网络； 2）设计两种增长型权值与结构确定法；
3）研究所设计的二输入网络的学习、泛化和预测性能，并对两种算法进行了比较； 本章主要内容包括，设计了一个二输入Legendre正交基神经网络，根据两种限制法则设计了两种适用于该网络的权值与结构确定法，根据这两个算法研究了网络的学习、泛化和预测能力。 注：本章已整理成英文论文并已被21st IEEE International Symposium on Industrial Electronics (ISIE 2012) 国际会议录用

30 研究内容： 总结与展望 研究展望： 1）建立统一化的适用于各种多项式神经网络的增长型权值与结构确定算法;
2）多类单输入多项式神经网络的学习能力比较； 3）多类单输入多项式神经网络的预测能力比较； 4）二输入Legendre神经网络的建立； 5）建立两种增长速度不同的权值与结构确定算法； 6）二输入多项式神经网络的学习能力及预测能力分析。 本文主要内容包括以下六点1）建立统一化的适用于各种多项式神经网络的增长型权值与结构确定算法2）多类单输入多项式神经网络的学习能力比较；3）多类单输入多项式神经网络的预测能力比较；4）建立了二输入Legendre神经网络；5）建立两种增长速度不同的权值与结构确定算法，6）二输入多项式神经网络的学习能力及预测能力分析，为多输入多项式神经网络在数据学习和预测领域的进一步发展做出了重要的贡献。下面是对人工神经网络的研究展望。 研究展望： 1）进一步将多项式神经网络跟BP神经网络、RBF以及Hopfield神经网络进行预测能力的比较， 最终确定出预测能力最优越的神经网络；2）进一步优化权值与结构确定算法； 3）适用性更广 的权值与结构确定算法； 4）人工神经网络的硬件实现。

31 感谢导师在该论文完成过程中 的指导和帮助！
在导师的指导下，还发表以下论文： 已录用： [1] 学生第一作者，Growing-Type Weights and Structure Determination of 2-Input Legendre Orthogonal Polynomial Neuronet，2012 ISIE国际会议 [2] 学生第一作者，(半)正/负定矩阵数学符号表示的科学性分析，中国科技信息2012年第6期 [3] 学生第二作者，一点超前数值差分公式的提出、研究与实践，中山大学学报（自然科学版）第51卷第2期 [4] 学生第四作者， The 3-Input Euler Polynomial Neuronet (3IEPN) with Weights-and-Structure-Determination (WASD) Algorithm，2012 ICMIC国际会议 [5]学生第四作者，Weights and Structure Determination of Pruning-While-Growing Type for 3-Input Power-Activation Feed-Forward Neuronet，2012 ICAL 国际会议 审稿中： [6] 学生第二作者，三输入伯努利神经网络权值与结构双确定，计算机工程与科学 [7] 学生第二作者，龙格现象难题破解之系数与阶次双确定方法，计算机学报 [8] 学生第二作者，Presentation, error analysis and numerical experiments on a group of 1-step-ahead numerical differentiation formulas，Journal of Computational and Applied Mathematics 待发表： [9] 学生第一作者，多类单输入多项式神经网络预测能力比较，系统仿真学报 感谢导师在该论文完成过程中 的指导和帮助！ 在论文的最后，我要向我的导师致以诚挚的感谢。正是在导师的指导和帮助下，我顺利发表了以下论文。 我的论文介绍到此结束，感谢各位评委老师，请老师予以指导点评。