单输入神经网络的性能比较 以及 二输入Legendre神经网络的建立

Slides:



Advertisements
Similar presentations
第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
Advertisements

第二章 导数与微分 习题课 主要内容 典型例题 测验题. 求 导 法 则求 导 法 则 求 导 法 则求 导 法 则 基本公式 导 数 导 数 微 分微 分 微 分微 分 高阶导数 高阶微分 一、主要内容.
2.8 函数的微分 1 微分的定义 2 微分的几何意义 3 微分公式与微分运算法则 4 微分在近似计算中的应用.
第八章 第四节 机动 目录 上页 下页 返回 结束 一个方程所确定的隐函数 及其导数 隐函数的微分法.
第 4 章 数值微积分. 4.1 内插求积 Newton-Cotes 公式 第 4 章 数值微积分 4.1 内插求积 Newton-Cotes 公式.
1 第四章 数值积分与数值微分 — Gauss 求积公式. 2 内容提要 数值积分 数值微分 基本概念 Newton-Cotes 求积公式 复合求积公式 Gauss 求积公式 Romberg 求积公式 多重积分.
2.5 函数的微分 一、问题的提出 二、微分的定义 三、可微的条件 四、微分的几何意义 五、微分的求法 六、小结.
全微分 教学目的:全微分的有关概念和意义 教学重点:全微分的计算和应用 教学难点:全微分应用于近似计算.
第三节 微分 3.1 、微分的概念 3.2 、微分的计算 3.3 、微分的应用. 一、问题的提出 实例 : 正方形金属薄片受热后面积的改变量.
1 第三章 函数逼近 — 正交多项式. 2 内容提要 正交多项式 正交函数族与正交多项式 Legendre 正交多项式 Chebyshev 正交多项式 Chebyshev 插值 第二类 Chebyshev 正交多项式 Laguerre 正交多项式 Hermite 正交多项式.
中科院研究所公开招聘面试答辩 第一章 基本情况介绍.
一、能线性化的多元非线性回归 二、多元多项式回归(线性化)
一、二阶行列式的引入 用消元法解二元线性方程组. 一、二阶行列式的引入 用消元法解二元线性方程组.
第三章 函数逼近 — 最佳平方逼近.
例题 教学目的: 微积分基本公式 教学重点: 牛顿----莱布尼兹公式 教学难点: 变上限积分的性质与应用.
第二节 微积分基本公式 1、问题的提出 2、积分上限函数及其导数 3、牛顿—莱布尼茨公式 4、小结.
第四章 函数的积分学 第六节 微积分的基本公式 一、变上限定积分 二、微积分的基本公式.
§5.3 定积分的换元法 和分部积分法 一、 定积分的换元法 二、 定积分的分部积分法 三、 小结、作业.
第5章 定积分及其应用 基本要求 5.1 定积分的概念与性质 5.2 微积分基本公式 5.3 定积分的换元积分法与分部积分法
第四次大作业 登陆学校图书馆网站的电子数据库
不确定度的传递与合成 间接测量结果不确定度的评估
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第二章 导数与微分 第二节 函数的微分法 一、导数的四则运算 二、复合函数的微分法.
第三章 导数与微分 习 题 课 主要内容 典型例题.
§5 微分及其应用 一、微分的概念 实例:正方形金属薄片受热后面积的改变量..
第九章  Elman网络与学习算法 北京科技大学 信息工程学院 付冬梅
第7章 典型神经网络 7.1 单神经元网络.
探索三角形相似的条件(2).
                                                                                                                                                                
数 控 技 术 华中科技大学机械科学与工程学院.
§2 求导法则 2.1 求导数的四则运算法则 下面分三部分加以证明, 并同时给出相应的推论和例题 .
Μ子寿命测量 王纬臻 合作者 吴泽文 指导老师:乐永康.
Online job scheduling in Distributed Machine Learning Clusters
Ch 08.多层神经网络 1.
数据挖掘工具性能比较.
应用实例 识别Ps & Pt ADTS 压力通道并校验 CPD8000 New MENSOR‘s ADTS: CPA8001.
28.1 锐角三角函数(2) ——余弦、正切.
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
第一章 函数与极限.
3.8.1 代数法计算终点误差 终点误差公式和终点误差图及其应用 3.8 酸碱滴定的终点误差
Three stability circuits analysis with TINA-TI
WPT MRC. WPT MRC 由题目引出的几个问题 1.做MRC-WPT的多了,与其他文章的区别是什么? 2.Charging Control的手段是什么? 3.Power Reigon是什么东西?
实验三 16位算术逻辑运算实验 不带进位控制的算术运算 置AR=1: 设置开关CN 1 不带进位 0 带进位运算;
定理21.9(可满足性定理)设A是P(Y)的协调子集,则存在P(Y)的解释域U和项解释,使得赋值函数v(A){1}。
3.1 变化率与导数   3.1.1 变化率问题 3.1.2 导数的概念.
AD相关LncRNA调控及分析方法研究 项目成员:魏晓冉 李铁志 指导教师:张莹 2018年理学院大学生创新创业训练计划项目作品成果展示
第三章 函数的微分学 第二节 导数的四则运算法则 一、导数的四则运算 二、偏导数的求法.
魏新宇 MATLAB/Simulink 与控制系统仿真 魏新宇
第一部分:概率 产生随机样本:对分布采样 均匀分布 其他分布 伪随机数 很多统计软件包中都有此工具 如在Matlab中:rand
海报题目 简介: 介绍此项仿真工作的目标和需要解决的问题。 可以添加合适的图片。
基于最大margin的决策树归纳 李 宁.
建模常见问题MATLAB求解  .
第15讲 特征值与特征向量的性质 主要内容:特征值与特征向量的性质.
蔡世民 合作者:禚钊,傅忠谦,张捷 电子科学与技术系 中国科学技术大学 2011/4/29
高中数学选修 导数的计算.
第二节 函数的极限 一、函数极限的定义 二、函数极限的性质 三、小结 思考题.
§2 方阵的特征值与特征向量.
滤波减速器的体积优化 仵凡 Advanced Design Group.
回归分析实验课程 (实验三) 多项式回归和定性变量的处理.
基于列存储的RDF数据管理 朱敏
我们能够了解数学在现实生活中的用途非常广泛
教学大纲(甲型,54学时 ) 教学大纲(乙型, 36学时 )
第十七讲 密码执行(1).
数学模型实验课(二) 最小二乘法与直线拟合.
学习数据结构的意义 (C语言版) 《数据结构》在线开放课程 主讲人:李刚
毕业论文答辩模版 电子信息专业 2015级本科08班 北京大学 论文宝 答辩人: 教授 导师: 深蓝与灰白搭配 简洁严谨学术风格
毕业论文答辩模版 北京大学 某某某某专业 2015级本科08班 论文宝 答辩人: 教授 导师: Peking University
最小生成树 最优二叉树.
海报题目 简介: 介绍此项仿真工作的目标和需要解决的问题。 可以添加合适的图片。
9.3多项式乘多项式.
Presentation transcript:

单输入神经网络的性能比较 以及 二输入Legendre神经网络的建立 专 业:自动化 答辩人:陈锦浩 学号:08378040

1) 前言 2) 多类单输入多项式神经网络预测能力比较 3) 二输入Legendre正交基神经网络 4) 总结与展望

前言 研究现状: 1)人为给定期望逼近精度 2)数据预测的广泛应用 3)多输入的现实系统 4)多输入多项式神经网络 缺少权值与结构确定算 法 4)多输入多项式神经网络 缺少权值与结构确定算 法 对于神经网络,其部分研究现状如下:现有的结构确定算法需要人为给定期望逼近精度;实际中经常需要对数据进行预测;缺少适用于多输入系统的多输入多项式神经网络;没有用于多输入多项式网络的结构确定算法。

前言 研究现状: 研究内容: 无需给定参数,适用于多种网络的结构确定法 1)人为给定期望逼近精度 确定预测效果好的网络 二输入Legendre网络 适用于二输入网络的权值与结构确定法 1)人为给定期望逼近精度 2)数据预测的广泛应用 3)多输入的现实系统 4)多输入多项式神经网络 缺少权值与结构确定算 法 针对这些问题,本文将主要研究以下内容:首先,设计一种无需给定参数的,并且可以自动确定多种多项式神经网络的最优结构的算法;接下来,通过这个统一的算法比较六种多项式神经网络的学习和预测性能;然后,在第三章中,我们将创新性地提出一种二输入Legendre神经网络,并设计适用于该二输入网络的权值与结构确定法。

多类单输入多项式神经网络预测能力比较 2.1 单输入多项式神经网络模型 Legendre多项式 Hermite多项式 第一类Chebyshev多项式第二类Chebyshev多项式Bernoulli多项式 幂函数 在第本章中,我们所研究单输入三层前向神经网络结构如图所示,其中,各个神经元的阈值均设为0,并且输入层到隐层的权值设置为1,并且,我们将通过把这六种多项式作为隐层激励函数构建六种不同的多项式神经网络,

多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 单输入多项式神经网络中隐层与输出层的最优权值可以直接确定为 对于这样的网络结构,其权值可以通过权值直接确定法一步求得,

多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 公式形式和相关变量定义如下。

多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 定义均方误差E 为 学习数据量 第 q 个期望输出 第 q 个输入 另外,我们对均方误差作如下定义。根据以往的研究经验,我们知道随着神经元数的增加,均方误差MSE会先减少后增加,

多类单输入多项式神经网络预测能力比较 2.2 增长型权值与结构确定算法 :当前网络的均方误差; :当前找到的最小均方误差; :当前网络隐层神经元数; :当前找到的最优网络隐层神经元数。 因此我们通过不断增加神经元数,研究均方误差的变化,当连续两次增加神经元数都导致均方误差的增加,我们便确定该误差最小值对应的结构为最优结构

多类单输入多项式神经网络预测能力比较 2.3 数值验证 接下来,我们将展示以下三个目标函数 的仿真结果: 接下来,我们通过以下这三个目标函数来验证算法的有效性

多类单输入多项式神经网络预测能力比较 2.3 数值验证 网络隐层激励函数 学习时间(s) 最优神经元数 最优学习误差 目 标 函 数 (1) Legendre 0.11956 22 8.8205 Hermite 0.067223 15 1.1156 Chebyshev-I 0.13928 21 1.3372 Chebyshev-II 0.14376 2.0007 Bernoulli 0.050453 13 3.8108 幂函数 0.142 5.8051 (2) 0.09823 1.8475 0.043337 14 3.1738 0.11171 20 3.6245 0.10474 4.9407 0.056991 7.5882 0.13244 1.0039 (3) 0.097464 5.2454 0.029336 12 1.1204 0.10266 1.5937 0.11167 6.0244 0.055466 5.15 0.12111 4.4561 该表为各种多项式网络通过前述算法所得到的学习结果,从中可以发现,算法的学习时间短,学习误差极小

多类单输入多项式神经网络预测能力比较 2.3 数值验证 网络隐层激励函数 学习时间(s) 最优神经元数 最优学习误差 目 标 函 数 (1) Legendre 0.11956 22 8.8205 Hermite 0.067223 15 1.1156 Chebyshev-I 0.13928 21 1.3372 Chebyshev-II 0.14376 2.0007 Bernoulli 0.050453 13 3.8108 幂函数 0.142 5.8051 (2) 0.09823 1.8475 0.043337 14 3.1738 0.11171 20 3.6245 0.10474 4.9407 0.056991 7.5882 0.13244 1.0039 (3) 0.097464 5.2454 0.029336 12 1.1204 0.10266 1.5937 0.11167 6.0244 0.055466 5.15 0.12111 4.4561 而对于Hermite和Bernoulli网络,虽然其最优神经元数都较小,学习时间较短,然而其学习误差相对较大。

多类单输入多项式神经网络预测能力比较 2.3 数值验证 网络隐层激励函数 (0.6,0.7] 预测误差 (0.7,0.8] 预测误差 (0.8,0.9] 预测误差 (0.9,1] 预测误差 目 标 函 数 (1) Legendre 4.2237 3.1051 0.2345 53.3321 Hermite 0.31384 33.816 1005.8324 14948.7948 Chebyshev-I 1.9334 4.6162 1.0373 0.43312 Chebyshev-II Bernoulli 1.1305 0.46267 0.9175 300.1336 幂函数 (2) 3.1465 1.8091 1.1515 0.22934 1.0988 0.65655 8.9055 34.5161 8.0518 2.3982 9.0677 1.1509 3.1438 1.809 3.8131 0.77035 36.8943 809.4794 8.0515 (3) 1.1378 1.4303 0.1297 30.8332 8.286 2.868 1.7407 44.1003 1.1377 1.1381 7.5296 0.1556 7.7271 179.8011 该表是各个多项式神经网络在最优结构下对三个目标函数预测误差 ,从表中,我们可以发现,六种网络均有一定的预测能力

多类单输入多项式神经网络预测能力比较 2.3 数值验证 但是,相比较而言,其中的Hermite和Bernoulli网络的预测能力较弱 网络隐层激励函数 (0.6,0.7] 预测误差 (0.7,0.8] 预测误差 (0.8,0.9] 预测误差 (0.9,1] 预测误差 目 标 函 数 (1) Legendre 4.2237 3.1051 0.2345 53.3321 Hermite 0.31384 33.816 1005.8324 14948.7948 Chebyshev-I 1.9334 4.6162 1.0373 0.43312 Chebyshev-II Bernoulli 1.1305 0.46267 0.9175 300.1336 幂函数 (2) 3.1465 1.8091 1.1515 0.22934 1.0988 0.65655 8.9055 34.5161 8.0518 2.3982 9.0677 1.1509 3.1438 1.809 3.8131 0.77035 36.8943 809.4794 8.0515 (3) 1.1378 1.4303 0.1297 30.8332 8.286 2.868 1.7407 44.1003 1.1377 1.1381 7.5296 0.1556 7.7271 179.8011 但是,相比较而言,其中的Hermite和Bernoulli网络的预测能力较弱

(d) 第二类Chebyshev多项式神经网络 多类单输入多项式神经网络预测能力比较 2.3 数值验证 目标函数(1) (c) 第一类Chebyshev多项式 神经网络 (a) Legendre多项式神经网络 (b) Hermite多项式神经网络 图为六种网络在最优结构下对函数(1)的学习和预测效果 (d) 第二类Chebyshev多项式神经网络 (e) Bernoulli多项式神经网络 (f) 幂激励神经网络

(c) 第一类Chebyshev多项式神经网络 (d) 第二类Chebyshev多项式神经网络 多类单输入多项式神经网络预测能力比较 2.3 数值验证 目标函数(2) (c) 第一类Chebyshev多项式神经网络 (a) Legendre多项式神经网络 (b) Hermite多项式神经网络 这是对目标函数(2)的学习和预测效果,从这两组图中,我们可以更清晰地得到前述结论,也即Hermite和Bernoulli网络的预测能力较差。 (d) 第二类Chebyshev多项式神经网络 (e) Bernoulli多项式神经网络 (f) 幂激励神经网络

多类单输入多项式神经网络预测能力比较 2.4 本章小结 1)构建六种单输入多项式神经网络; 2)设计统一的,无需给定参数的权值与结构确定法; 3)研究比较了六种网络的学习和预测性能。 本章中,我们首先构建了六种单输入多项式神经网络,然后建立了一种无需人为给定参数的,统一的权值与结构确定法,最后,通过该算法具体研究比较了六种网络的学习和预测能力,发现Hermite和Bernoulli的学习和预测能力相对较差。 注:本章已整理成论文准备投稿《系统仿真学报》

二输入Legendre正交基神经网络 3.1 理论基础 引理1. 对于两个连续独立变量 x1 和 x2 ,给定连续目标函数 F(x1, x2),存在多项式 gk(x1) 和 hk(x2) (k=1,2,3,···) 使得 接下来,我们进入第三章“二输入Legendre正交基神经网络”。在构建这样一个二输入网络之前,我们先给出以下引理,注意到,我们可以通过将加权的Legendre多项式替换gkhk而得到如下形式。 多项式权值 Legendre多项式

二输入Legendre正交基神经网络 3.1 理论基础 进一步的推导即可得到下式。

二输入Legendre正交基神经网络 3.1 理论基础 限制法则I 且 , ; 限制法则II 且 , 。 i K 限制法则I 限制法则II 2 [1] 1 3 [2 2] 4 [2 1] [3 3 3] 9 [3 2 1] 6 5 [4 4 4 4] 16 [4 3 2 1] 10 [5 5 5 5 5] 25 [5 4 3 2 1] 15 7 [6 6 6 6 6 6] 36 [6 5 4 3 2 1] 21 8 [7 7 7 7 7 7 7] 49 [7 6 5 4 3 2 1] 28 [8 8 8 8 8 8 8 8] 64 [8 7 6 5 4 3 2 1] [9 9 9 9 9 9 9 9 9] 81 [9 8 7 6 5 4 3 2 1] 45 限制法则I 且 , ; 限制法则II 且 , 。 在给出网络结构之前,我们再提出两个限制法则,为了便于理解,我们这里列举了i从2到10,两种限制法则的不同增长情况。由该表我们可以很明显地看出,限制法则II的增长速度约为法则I速度的一半。

二输入Legendre正交基神经网络结构 3.2 网络模型与算法 这就是二输入Legendre神经网络的结构,其中,我们将所有神经元的阈值设为0,输入层到隐层的权值设为1,隐层神经元的激励函数由两个Legendre多项式相乘得到。 二输入Legendre正交基神经网络结构

二输入Legendre正交基神经网络 3.2 网络模型与算法 接下来,我们通过以下三个目标函数研 究网络学习误差以及神经元数间的关系: 为了设计出适用于该网络的算法,我们通过这三个函数研究网络的学习误差与神经元数间的关系

二输入Legendre正交基神经网络 3.2 网络模型与算法 采用限制法则I 目标函数 (4) (5) (6)

二输入Legendre正交基神经网络 3.2 网络模型与算法 采用限制法则II 目标函数 (4) (5) (6)

二输入Legendre正交基神经网络 3.2 网络模型与算法 :当前网络的均方误差; :当前找到的最小均方误差; :当前网络隐层神经元数; :当前找到的最优网络隐层神经元数; :当前网络的隐层神经元数目; :当前找到的最优网络隐层神经元数。 根据以上结论,通过采用前述的两种限制法则,我们可以将前面适用于单输入网络的权值与结构确定法拓展成适用于二输入Legendre正交基神经网络的权值直接确定法。具体流程如图所示。

二输入Legendre正交基神经网络 3.3 数值实验结果 目标函数 最优神经元数 最优学习误差 检验误差 学习时间(s) 限 制 法 则 I (4) 2869 9.240 6.606 326.935 (5) 2108 2.934 6.726 211.585 (6) 1014 4.194 2.403 73.346 II 406 5.937 9.928 13.731 276 2.454 8.715 5.309 231 2.645 2.926 3.570 针对前述的三个目标函数,我们利用这两种算法确定出二输入Legendre神经网络的相应的最优网络结构,数据如表中所示。通过表中数据我们可以知道,由两种算法所确定的网络结构具有优越的学习和泛化能力。

二输入Legendre正交基神经网络 3.3 数值实验结果 目标函数(5) 采用限制法则I的 学习结果 (c) 采用限制法则I的 校验结果 校验误差 目标函数(5) 这是针对目标函数(5),通过两种算法所确定的最优网络结构的学习和泛化结果展示图。由图可得到与前面类似的结论,所构建的二输入Legendre正交基神经网络具有优越的学习和泛化能力 (b) 采用限制法则II的 学习结果 (d) 采用限制法则II的 校验结果 (f) 采用限制法则II的 校验误差

二输入Legendre正交基神经网络 3.3 数值实验结果 目标函数(6) (c) 采用限制法则I的 预测和校验结果 采用限制法则I的 学习结果 (e) 采用限制法则I的 预测和校验误差 目标函数(6) 这是针对函数(6),二输入网络在最优网络结构下的学习、泛化和预测结果。由这些结果,我们可以得知,该网络具有较强的预测能力,预测精度达到10^-7以上。 (b) 采用限制法则II的 学习结果 (f) 采用限制法则II的 预测和校验误差 (d) 采用限制法则II的 预测和校验结果

二输入Legendre正交基神经网络 3.4 本章小结 1)设计二输入Legendre正交基神经网络; 2)设计两种增长型权值与结构确定法; 3)研究所设计的二输入网络的学习、泛化和预测性能,并对两种算法进行了比较; 本章主要内容包括,设计了一个二输入Legendre正交基神经网络,根据两种限制法则设计了两种适用于该网络的权值与结构确定法,根据这两个算法研究了网络的学习、泛化和预测能力。 注:本章已整理成英文论文并已被21st IEEE International Symposium on Industrial Electronics (ISIE 2012) 国际会议录用

研究内容: 总结与展望 研究展望: 1)建立统一化的适用于各种多项式神经网络的增长型权值与结构确定算法; 2)多类单输入多项式神经网络的学习能力比较; 3)多类单输入多项式神经网络的预测能力比较; 4)二输入Legendre神经网络的建立; 5)建立两种增长速度不同的权值与结构确定算法; 6)二输入多项式神经网络的学习能力及预测能力分析。 本文主要内容包括以下六点1)建立统一化的适用于各种多项式神经网络的增长型权值与结构确定算法2)多类单输入多项式神经网络的学习能力比较;3)多类单输入多项式神经网络的预测能力比较;4)建立了二输入Legendre神经网络;5)建立两种增长速度不同的权值与结构确定算法,6)二输入多项式神经网络的学习能力及预测能力分析,为多输入多项式神经网络在数据学习和预测领域的进一步发展做出了重要的贡献。下面是对人工神经网络的研究展望。 研究展望: 1)进一步将多项式神经网络跟BP神经网络、RBF以及Hopfield神经网络进行预测能力的比较, 最终确定出预测能力最优越的神经网络;2)进一步优化权值与结构确定算法; 3)适用性更广 的权值与结构确定算法; 4)人工神经网络的硬件实现。

感谢导师在该论文完成过程中 的指导和帮助! 在导师的指导下,还发表以下论文: 已录用: [1] 学生第一作者,Growing-Type Weights and Structure Determination of 2-Input Legendre Orthogonal Polynomial Neuronet,2012 ISIE国际会议 [2] 学生第一作者,(半)正/负定矩阵数学符号表示的科学性分析,中国科技信息2012年第6期 [3] 学生第二作者,一点超前数值差分公式的提出、研究与实践,中山大学学报(自然科学版)第51卷第2期 [4] 学生第四作者, The 3-Input Euler Polynomial Neuronet (3IEPN) with Weights-and-Structure-Determination (WASD) Algorithm,2012 ICMIC国际会议 [5]学生第四作者,Weights and Structure Determination of Pruning-While-Growing Type for 3-Input Power-Activation Feed-Forward Neuronet,2012 ICAL 国际会议 审稿中: [6] 学生第二作者,三输入伯努利神经网络权值与结构双确定,计算机工程与科学 [7] 学生第二作者,龙格现象难题破解之系数与阶次双确定方法,计算机学报 [8] 学生第二作者,Presentation, error analysis and numerical experiments on a group of 1-step-ahead numerical differentiation formulas,Journal of Computational and Applied Mathematics 待发表: [9] 学生第一作者,多类单输入多项式神经网络预测能力比较,系统仿真学报 感谢导师在该论文完成过程中 的指导和帮助! 在论文的最后,我要向我的导师致以诚挚的感谢。正是在导师的指导和帮助下,我顺利发表了以下论文。 我的论文介绍到此结束,感谢各位评委老师,请老师予以指导点评。