人工神经网络方法简介. 人工神经网络方法介绍 b 概况 b 原理及计算方法 b 气象中的应用.

Presentation on theme: "人工神经网络方法简介. 人工神经网络方法介绍 b 概况 b 原理及计算方法 b 气象中的应用."— Presentation transcript:

1 Tanguirong@nuidt.edu.cn 人工神经网络方法简介

2 人工神经网络方法介绍 b 概况 b 原理及计算方法 b 气象中的应用

3

4 一、概况 b 发展 b 人工神经元定义 b 人工神经网络的特性 b 人工神经网络的基本类型 b 人工神经网络的主要学习方法 b 人工神经网络的典型模型

5 1 、发展 b 神经学作为一门科学始于 19 世纪末。 b 1875 年意大利解剖学家用软色体法识别单个神经细 胞。 b 1889 年创立神经元学说。 b 本世纪初，电生理技术开始发展，神经系统各种反 射活动得到详细研究。 b 起源： 1943 （似脑的机器）。 b 学习机器； b 50 年代末 60 年代初， Rosenblatt 提出 Perceptron （知 觉器）， Widrow~~Adaline （自适应线性元件）。

6 b 1986 年 Rumelhart 和 Mccelland 提出了多层 网络的 “ 误差反向传播算法（ BP ） ” 。改变 了这一状况，使网络模式走向实用化。 目前人工神经网络的学习方法已发展有 许多，如：递推最小二乘法、投影算法、 反向传播算法等。

7 2 、定义 b 人工智能神经网络 是由大量简单元件 （模拟人的大脑） 广泛相互连接而成 的复杂网络系统。 b 人工神经元结构包 括输入、功能函数 处理和输出。（如 图）

8 神经元结构示意图 b 人工神经元 b 生理神经元 输入 输出 WX 函数处理

9 b 单向

10 b 多向 另一网络的输出 初始输入 该网络输出

11 b 并行分布处理 b 非线性映射 b 通过训练进行学习 b 适应和集成 b 硬件实现 3 、网络的一般特性

12 4 、人工神经网络的基本类型 b 递归网络 b 前馈网络 5 、人工神经网络的主要学习方法 b 有师学习 b 无师学习 b 强化学习

13 6 、人工神经网络的典型模型 b 自适应谐振理论（ ART. ） b 双向联想存储器（ BAM ） b 博尔茨曼（ Boltzmann ） b 反向传播网络（ BP ） b 对流传播网络（ CPN ） b Hopfield 网 b 认知机（ Neocogntion ） b 感知器（ Perceptron ） b 自组织映射网（ SOM ）

14 二、人工神经网络原理算法 b 数学原理 b BP 算法 b 计算步骤

15 1 、数学原理 b 近似定理 对于任意的 和任意的 函数 f ： ，存在 3 层型神经元网 络，使之在 的均方误差精度范围 内，可得出 f 的近似。

16 2 、 BP 网络原理算法 BP(back propagate) ，指采用 s 型活化 函数、 法则训练的多层映射网络。 在参数适当时，能收敛到较小的均方误差 。 法则一种后向传递并修正误差的训练 学习方法。

17 BP 算法原理 b S 型活化函数

18 b 算法推导 活化函数

19 设网络： 输入 输出 目标输出

20 输出层 隐层

21 网络误差 令

22 对输出层

23 以上即为 S 形多层神经网络的 法则， 即 BP 算法。 所以权重修正

24 对隐层

25 实际应用中，增加一些参数，是为了减少从 一个训练样本转换到另一个训练样本时较大 误差引起的系数过调量。 学习参数 加权因子

26 网络均方误差 法则就是从某一初始权矢量出发，逐步 改变权系数，使网络误差减少。最后得 到适宜的权系数。

27

28 3 、计算步骤 b 选取训练样本对、初始化权阵。 阀值

29 b 将选取的样本输入矢量作用于输入端， 从输入层到输出层计算： b 从输出层反向计算误差并修正权阵：

30 b 重复（ 2~3 步），当所有的样本使用一次， 即完成一个训练周期时，计算网络误差： b 重复（ 2~4 步），进行下一轮训练周期， 得到下一轮网络误差：

31 b 计算误差改变量： b 当误差改变量小于某允许值时，终止训 练，得到一组权阵 。 和

32 训练对、权阵 计算输出 计算误差并修正权阵 判断 k<N? 计算网络误差 判断误差改变量 < 允许值 输出权阵和阀值 下一个样本下一个样本 下一轮训练下一轮训练

33 三、人工神经网络方法在气象 中的应用 b 正反问题 b 人工神经网络的特点 b 与其他方法的比较 b 气象应用方面介绍

34 b 正问题：即已知事物相互联系的规律， 求解问题的解。 b 反问题：即事物相互联系的规律未知， 只知一些现象。气象中有不少问题受实 验条件的限制，到目前还没了解清楚， 就属于反问题。如：长期预报。求解反 问题的方法：动力学建摸（线性）、人 工智能（神经网络、专家系统） 1 、正反问题

35 2 、人工神经网络的特点 b 从数学本质上看，非线性神经元构成的 网络具有很强的自学习能力和对环境的 适应能力； b 从应用对象看，人工神经网络方法擅长 处理知识背景不很清楚的、模糊的、随 机的大通量信息；

36 b 从 求解的目标看，它致力于搜寻非精确 的满意解，而放弃目标解的高度精确性， 因而有效地提高了问题求解的效率和实 际解算问题的能力。

37 3 、与其他方法的比较 b 大规模并行处理，便于信息的综合 b 良好的容错性 b 有学习功能，网络的大量参数均由学习 （训练）得到，而不是人为设定。这一 点很重要，这意味从原始数据中提取信 息，逼近规律，而不是人为赋予规律。

38 b 举例简单地说： MOS( 模式输出统计法） 是线性分析、逐步求解；卡尔曼滤波是 线性分析、逐步求解；神经网络则是线 性与非线性分析、逐步求解。

39 4 、气象应用方面介绍 b 在气象领域，国外加拿大和美国开展应 用较早。国内也进行了一些开发研制工 作。一般应用于预报和分类分析。如： 采用多个预报因子指标分析预报最低气 温、异常降水等。

40 b 人工神经网络进行气象预测的精度，与 初选的预报因子有关。因此，对于人工 神经网络的构筑，需要有对气象现象的 敏锐洞察以及对大气物理的深刻理解。 必须求出具有大气物理学的合理性，并 抓住现象本质的未知关系。

41 举个例子： 用人工神经网络方法 模拟预报我国东部 夏季三类降水型

42 1 、找预报因子 夏季降水与前冬环流场的 SVD_1 向量

43 夏季降水与前冬环流场的 SVD_2 向量

44 一类雨型 二类雨型 三类雨型

45 三类雨型对应的冬季海温特征 二类雨型 一类雨型 三类雨型

46

47 预报因子 海温： 1 区（ 30-50N ， 180-140W ）； 2 区（ 10S-10N ， 180-140W ） 高度场： 3 区（ 35-60N ， 150E-150W ） - （ 10-30N ， 150E-150W ） 4 区（ 10-30N ， 100-150E ） - （ 30-60N ， 100-150W ） 5 区（ 10-30N ， 100-150E ） - （ 40-60N ， 70-110E ） 模拟与试报结果 实际模 拟 雨型 123 11500 21121 3029 实际 试 报 雨型 123 1300 2000 3202

48 错误模拟年为： 52 （ 3-2 ） 68 （ 3-2 ） 84 （ 2-1 ） 89 （ 2-3 ） 试报错年为： 93 （ 3-1 ） 98 （ 3-1 ） 用 40 年训练，错 4 年；试报 7 年错 2 年。

49 汛期降水预测回顾 -1997 实 况实 况 NCC 预报 预测评分预测评分 >20%<-20%-10%10%0

50 汛期降水预测回顾 -1998 实 况实 况 NCC 预报 预测评分预测评分 >20%<-20%-10%10%0

51 汛期降水预测回顾 -1999 实 况实 况 NCC 预报 预测评分预测评分 NIM 预报 >20%<-20%-10%10%0 >20%<-20%-10%10%0

52 汛期降水预测回顾 -2000 实 况实 况 NCC 预报 预测评分预测评分 NIM 预报 >20%<-20%-10%10%0

53 汛期降水预测回顾 -2001 实 况实 况 NCC 预报 预测评分 NIM 预报 >20%<-20%-10%10%0

54 汛期降水预测回顾 -2002 实 况实 况 NCC 预报 NIM 预报 预测评分

55 汛期降水预测回顾 -2003 实 况实 况 NCC 预报 NIM 预报 预测单位评分相关系数 中国科学院寒旱区环境与工程研究所 60-0.16 水利部水利信息中心 60-0.21 中国气象科学研究院 54-0.27 北京大学 52-0.21 国家气候中心提交大会讨论意见 49-0.22 南京气象学院 49-0.39 国家气候中心正式发布预报（全国汛期会议综合意见） 48-0.29 中国科学院大气物理研究所 47-0.35 总参气象中心 37-0.37 预测评分

56 实 况实 况 NCC 预报 预测评分 NIM 预报 汛期降水预测回顾 -2004

57 谢谢！ 再见！