3.2 基于遗传算法的神经网络优化方法.

Slides:



Advertisements
Similar presentations
因数与倍数 2 、 5 的倍数的特征
Advertisements

摆一摆,想一想. 棋子个数数的个数 摆出的数 、 10 2 、 11 、 20 3 、 12 、 21 、 30 4 、 13 、 22 、 31 、 40 5 、 14 、 23 、 32 、 41 、
3 的倍数特征 抢三十

By 谢广明 , 2005~2006 学年度第一学期 1 Genetic Algorithm , GA 第二章 遗传算法 (II)
第 4 章 基于遗传算法的随机优化搜索 4.1 基本概念 4.2 基本遗传算法 4.3 遗传算法应用举例 4.4 遗传算法的特点与优势.
第五节 函数的微分 一、微分的定义 二、微分的几何意义 三、基本初等函数的微分公式与微分运算 法则 四、微分形式不变性 五、微分在近似计算中的应用 六、小结.
病历书写 中山医院呼吸科 张 新. 定 义 病历是临床医生根据问诊、体格检查、实验 室和其他检查获得的资料经过归纳、分析、整理, 按照规定的格式而写成的;是关于病人发病情况, 病情发展变化,转归和诊疗情况的系统记录。 病历是临床医生根据问诊、体格检查、实验 室和其他检查获得的资料经过归纳、分析、整理,
第十二章 病历书写与要求 病历病历 医务人员在医疗中形成的文字、符号、图表、 影像、切片等资料的总和。 病历书写 通过诊法、诊断、治疗、护理等医疗活动获得有关资 料,进行归纳、分析、整理形成医疗活动记录行为。 病历意义 A 诊疗等的源文件; B 复 / 转 / 会诊,解决医疗纠纷、判定法律责任、医疗保险等的资料和依据;
2 、 5 的倍数的特征 玉田百姓. 1 、在 2 、 3 、 5 、 8 、 10 、 12 、 25 、 40 这几个数中, 40 的因数有几个? 5 的倍数有几个? 复习: 2 、在 6 、 10 、 12 、 15 、 18 、 20 这几个数中,哪些数 是 2 的倍数?哪些数是 5 的倍数?
第 十 章 智能优化计算简介.
第三章 函数逼近 — 最佳平方逼近.
台灣的名勝古蹟.
第五章 遗传算法.
【主要内容】 介绍遗传算法的主要思想、关键步骤、如何实现以及在数学建模中的应用。
台灣史總複習.
进化计算 Evolutionary Computation
第一章 绪论 1.1 遗传算法的生物学基础 遗传与变异 生物在自然界中的生存繁衍,显示出了其对自然环境的自适应能力。受其启发,
國文報告 儒家生死文化討論 不死鳥 組員 972BP001 彭科強 972BP008 王薪榕 972BP025 彭裕宗
第六章 计算智能 6.1 概述 6.2 神经计算 6.3 进化计算 6.4 模糊计算 6.5 粗糙集理论 6.6 其他.
第六章 智慧型的行銷資訊系統 課程名稱 行銷資訊系統 進度 第六章 授課老師 總時數 3小時 線 行銷資訊系統 – E世代的行銷管理.
第三章 多维随机变量及其分布 §2 边缘分布 边缘分布函数 边缘分布律 边缘概率密度.
第四章 遗传算法的实现技术 80年代以后,遗传算法得到了广泛的使用,在实践过程中,人们对遗传算法的实施提出了许多改进。本节分别予以介绍。
Hadoop I/O By ShiChaojie.
SOA – Experiment 3: Web Services Composition Challenge
走进编程 程序的顺序结构(二).
第一单元 初识C程序与C程序开发平台搭建 ---观其大略
遗传算法原理与应用 Alex
Online job scheduling in Distributed Machine Learning Clusters
本节内容 模拟线程切换 视频提供:昆山滴水信息技术有限公司 官网地址: 论坛地址: QQ交流 :
遗传算法(Genetic Algorithm) Natural Computing
第4章 非线性规划 4.5 约束最优化方法 2019/4/6 山东大学 软件学院.
第一章 函数与极限.
C语言程序设计 主讲教师:陆幼利.
简单介绍 用C++实现简单的模板数据结构 ArrayList(数组, 类似std::vector)
第二章 基本遗传算法(GA) 2.1 基本遗传算法描述 基本遗传算法的构成要素 (1) 染色体编码方法
指導老師:謝文魁 老師 組員:邱獻德 蔡雅芳 鐘筱嬿 陳姿伶 王彥婷
概 率 统 计 主讲教师 叶宏 山东大学数学院.
计算智能.
用计算器开方.
成绩是怎么算出来的? 16级第一学期半期考试成绩 班级 姓名 语文 数学 英语 政治 历史 地理 物理 化学 生物 总分 1 张三1 115
第4章 Excel电子表格制作软件 4.4 函数(一).
实验三 16位算术逻辑运算实验 不带进位控制的算术运算 置AR=1: 设置开关CN 1 不带进位 0 带进位运算;
Particle Systems 粒子系统 李博杰 PB
iSIGHT 基本培训 使用 Excel的栅栏问题
3.1 变化率与导数   3.1.1 变化率问题 3.1.2 导数的概念.
概 率 统 计 主讲教师 叶宏 山东大学数学院.
多层循环 Private Sub Command1_Click() Dim i As Integer, j As Integer
魏新宇 MATLAB/Simulink 与控制系统仿真 魏新宇
第七、八次实验要求.
基于最大margin的决策树归纳 李 宁.
建模常见问题MATLAB求解  .
第二章 基本遗传算法(GA) 2.1 基本遗传算法描述 基本遗传算法的构成要素 (1) 染色体编码方法
§2 方阵的特征值与特征向量.
控制系统计算机辅助设计——MATLAB语言与应用
第十一章 基因演算法 (Genetic Algorithms)
第六章 Excel的应用 五、EXCEL的数据库功能 1、Excel的数据库及其结构 2、Excel下的数据排序 (1)Excel的字段名行
滤波减速器的体积优化 仵凡 Advanced Design Group.
C++语言程序设计 C++语言程序设计 第一章 C++语言概述 第十一组 C++语言程序设计.
基因信息的传递.
计算机问题求解—论题4.10 启发式算法的概念 陶先平 2017年6月5日.
第三章 从概率分布函数的抽样 (Sampling from Probability Distribution Functions)
教学大纲(甲型,54学时 ) 教学大纲(乙型, 36学时 )
Volterra-Lotka方程 1925年, A. Lotka(美)和V. Volterra(意)给出了第一个两物种间的捕食模型。
线性规划 Linear Programming
遗传算法原理与应用 唐 慧 丰 2006 年 5 月.
第十七讲 密码执行(1).
第十二讲 密码执行(上).
§4.5 最大公因式的矩阵求法( Ⅱ ).
最小生成树 最优二叉树.
Presentation transcript:

3.2 基于遗传算法的神经网络优化方法

概述 BP算法是人工神经网络中应用最广泛的算法,但是存在着一些缺陷: 一是学习收敛速度太慢; 二是不能保证收敛到全局最小点; 三是网络结构不易确定。 BP算法优化后仍存在一定的问题 网络结构确定 初始连接权值选取 阈值的选择 遗传算法应用于神经网络 优化人工神经网络(ANN)的结构, 学习神经网络的权值,也就是用遗传算法取代一些传统的学习算法。

概述 遗传算法(Genetic Algorithm, GA)是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型。 由美国密执根(Michigan)大学的J.Holland教授于1975年首先提出。 Hello,I’m John Holland

3.2.2 遗传算法简介 算法原理 首先将问题求解表示成基因型(如常用的二进制编码串),从中选取适应环境的个体,淘汰不好的个体,把保留下来的个体复制再生,通过交叉、变异等遗传算子产生新一染色体群。依据各种收敛条件,从新老群体中选出适应环境的个体,一代一代不断进步,最后收敛到适应环境个体上,求得问题最优解

3.2.2 遗传算法简介 生物遗传学概念与遗传算法中概念的对应关系 生物遗传学概念 遗传算法中的作用 适者生存 3.2.2 遗传算法简介 生物遗传学概念与遗传算法中概念的对应关系 生物遗传学概念 遗传算法中的作用 适者生存 在算法停止时,最优目标值的解有最大的可能被留住 个体(individual) 目标函数的解 染色体(chromosome) 解的编码(向量) 基因(gene) 解中的每一分量的特征(或值) 适应性(fitness) 适应度函数 群体(population) 选定的一组解(其中解的个数为群体的规模) 种群(reproduction) 根据适应函数选取的一组解 交配(crossover) 按交配原则产生一组新解的过程 变异(mutation) 编码的某一分量发生变化的过程

3.2.2 遗传算法简介 算法步骤 1.随机产生一定数目的初始个体(染色体) 2.用评价函数来评价每个染色体的优劣 3.基于适应值的选择策略 3.2.2 遗传算法简介 算法步骤 1.随机产生一定数目的初始个体(染色体) 这些随机产生的染色体组成一个种群,种群中的染色体数目称为种群的规模或大小(pop-size)。 2.用评价函数来评价每个染色体的优劣 染色体对环境的适应程度(称为适应度),并用作以后遗传操作的依据。 3.基于适应值的选择策略 从当前种群中选取一定的染色体作为新一代的染色体,染色体的适应度越高,其被选择的机会越大。 4.对这个新生成的种群进行交叉(交配)操作、变异操作。 变异操作的目的使种群中的个体具有多样性,防止陷入局部最优解,这样产生的染色体群(种群)称为后代。 5.判断是否达到预定的迭代次数,是则结束,否则返回2进入下一轮迭代操作

遗传算法的流程图 执行杂交 GEN=0 产生初始群体 是否满足停止准则 指定结果 结 束 计算每个个体的适应度 i=0 i=N ? 结 束 计算每个个体的适应度 i=0 i=N ? 以概率选择遗传算子 GEN=GEN+1 选择一个个体 选择两个个体 执行复制 i=i+1 执行变异 复制到新群体 执行杂交 插入到新群体 将两个子代串插入到新群体 是 否 pr pc pm GEN—当前代数 N—群体规模 遗传算法的流程图

3.2.3 遗传算法工具箱 编码和种群生成 指令格式: 参数说明: 3.2.3 遗传算法工具箱 编码和种群生成 指令格式: Function[pop]=initializega(populationSize,variableBounds,evalFN,evalOps,options) 参数说明: pop:随机生成的初始种群 populatoinSize:种群大小即种群中个体的数目 variableBounds:表示变量边界的矩阵 evalFN:适应度函数 evalOps:传给适应度函数的参数 options:选择编码形式:1为浮点编码,0为二进制编码

3.2.3 遗传算法工具箱 进行遗传操作 指令格式: function [x,endPop,bPop,traceInfo]=ga(bounds,evalFN,evalOps,startPop,opts, termFN,termOps,selectFN,selectOps,xOverFNs,xOverOps,mutFNs,mutOps) 参数说明: (1)输出参数 X:求得的最优解 endPop:得到的最终种群 bPop:最优种群的搜索轨迹 traceInfo:每代的最优值和均值矩阵 (2)输入参数 Bounds:代表变量上下界的矩阵 startPop:可以从初始化函数中得到的初始解矩阵 evalFN:适应度函数 termFN:终止函数的名称 termOps:终止函数的参数 selectFN:选择函数名 selectOpts:选择参数 xOverFNS:交叉函数名 xOverOps:交叉参数 mutFNs:变异函数名 mutOps:变异参数

3.2.4 用遗传算法优化神经网络权值的学习过程 以2.3.2中的BP网络为例,其遗传算法学习权值步骤如下 1)初始化种群P 3.2.4 用遗传算法优化神经网络权值的学习过程 以2.3.2中的BP网络为例,其遗传算法学习权值步骤如下 1)初始化种群P 包括交叉规模、交叉概率Pc、突变概率Pm以及权值初始化 2)计算每一个个体评价函数,并将其排序,可按下式概率值选择网络个体 为个体 的适应度,可用误差平方和来衡量,即 以交叉概率Pc对个体 和 进行交叉操作,产生新个体 和 ,没有进行交叉操作的个体直接进行复制。

3.2.4 用遗传算法优化神经网络权值的学习过程 4)利用变异概率Pm突变产生 的新个体 。 5)将新个体插入到种群P中,并计算新个体的评价函数。 6)判断算法是否结束。如果找到了满意的个体或已经达到最大的迭代次数则结束,否则转3)进入下一轮迭代。 算法结束,如达到预先设定的性能指标后,将最终群体中的最优个体解码即可得到优化后的网络连接权值系数。 用遗传算法优化神经网络的MATLAB实现请参阅4.5.3节

小结 概述 遗传算法简介 遗传算法工具箱函数 用遗传算法优化BP神经网络权值的学习过程

谢谢!