4.1竞争学习的概念与原理 4.2自组织特征映射神经网络

Presentation on theme: "4.1竞争学习的概念与原理 4.2自组织特征映射神经网络"— Presentation transcript:

1 4.1竞争学习的概念与原理 4.2自组织特征映射神经网络
第四章 自组织神经网络 4.1竞争学习的概念与原理 4.2自组织特征映射神经网络

2 第四章 自组织神经网络 竞争层 输入层 自组织神经网络的典型结构

3 第四章 自组织神经网络 自组织学习(self-organized learning) ：
通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 自组织网络的自组织功能是通过竞争学习（competitive learning）实现的。

4 4.1竞争学习的概念与原理 4.1.1 基本概念 分类——分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。
聚类——无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。

5 4.1.1 基本概念 相似性测量＿欧式距离法

6 4.1.1 基本概念 相似性测量＿余弦法

7 4.1.2 竞争学习原理 竞争学习规则——Winner-Take-All

8 竞争学习规则——Winner-Take-All
1.向量归一化 首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m)

9 向量归一化之前

10 向量归一化之后

11 竞争学习原理 竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。 欲使两单位向量最相似，须使其点积最大。即：

12 竞争学习规则——Winner-Take-All
从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：

13 竞争学习规则——胜者为王(Winner-Take-All)
3.网络输出与权值调整 jj* 步骤3完成后回到步骤1继续训练，直到学习率衰减到0。

14 竞争学习的几何意义 ☻

15 竞争学习的几何意义 * 1 W ˆ j )] ( ) )[ t p X - = h D ┆ + m … * *

16 竞争学习游戏 将一维样本空间的12个样本分为3类

17 竞争学习游戏 o1 o1 o1 w1 w2 w3 x 训练样本集

18 例4.1 用竞争学习算法将下列各模式分为2类： 解：为作图方便，将上述模式转换成极坐标形式 ： 竞争层设两个权向量，随机初始化为单位向量：

19

20

21

22

23

24

25

26

27

28

29

30 4.2自组织特征映射神经网络 （Self-Organizing feature Map）
1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。

31 SOM网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。

32 SOM网的拓扑结构 SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。

33 SOM网的权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示：

34

35 SOM网的权值调整域 以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。

36 SOM网的运行原理 训练阶段 w w w w w5

37 SOM网的运行原理 工作阶段

38 SOM网的学习算法 Kohonen 学习算法
(1)初始化 对输出层各权向量赋小随机数并进行归一化处理，得到 ，j=1,2,…m；建立初始优胜邻域Nj*(0)；学习率 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行归一化处理，得到 ，p{1,2,…,P}。 (3)寻找获胜节点 计算 与 的点积，j=1,2,…m，从中选出点积最大的获胜节点j*。 (4)定义优胜邻域Nj* (t) 以j*为中心确定t 时刻的权值调整域，一般初始邻域Nj* (0)较大，训练过程中Nj* (t)随训练时间逐渐收缩。

39 SOM网的学习算法 Kohonen学习算法

40 SOM网的学习算法 Kohonen学习算法 (5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： i=1,2,…n jNj*(t)
式中， 是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律：

41 SOM网的学习算法 Kohonen学习算法 (5)调整权值 (6)结束检查 学习率是否衰减到零或某个预定的正小数？

42 Kohonen学习算法程序流程

43 功 能 分 析 (1)保序映射——将输入空间的样本模式类有序地映射在输出层上。 例1：动物属性特征映射。

44 功能分析

45 功能分析 (2)数据压缩 —— 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。
(3)特征抽取 —— 高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。 例2：SOM网用于字符排序。

46

47 SOM网在皮革配皮中的应用 要生产出优质皮衣，必须保证每件皮衣所用皮料在颜色和纹理方面的相似性。在生产中，通常由有经验的工人根据皮料颜色、纹理的相近程度进行分类。这道称为“配皮”的工序，因光照条件、工人经验不同以及情绪、体力等因素变化的影响，质量难于保证。 计算机皮革检测与分类系统可对成批皮革的颜色及纹理进行在线检测、特征值提取及快速分类，从而代替了传统的手工操作，取得了良好的效果。

48 系统硬件组成 图 像 标准灯箱 CCD 采集卡 彩 色 及 计算机 摄像机 解码器（PAL) 帧 存 486/66 储 器 D65光源
图 像 采集卡 及 帧 存 储 器 计算机 486/66 彩 色 监视器 打印机 标准灯箱 皮革 皮料传送带 D65光源

49 基于SOM神经网络的皮革聚类 1. 颜色纹理特征提取 颜色参数: CIE1996均匀颜色空间值 l*, a*, b*
纹理参数: 梯度均值μ2, 梯度标差 σ2 , 及梯度墒T8。 皮革外观由６维输入矢量 I = [l*, a*, b*, μ2 ,σ2 ,T8] 描述

50 基于SOM神经网络的皮革聚类 2. SOM 神经网络的设计 网络结构: 6输入1维线阵输出。
聚类时每批100张皮，平均每件皮衣需要5～6张皮，因此将输出层设置20个神经元。每个神经元代表一类外观效果相似的皮料，如果聚为一类的皮料不够做一件皮衣，可以和相邻类归并使用。

51 3.网络参数设计 N j* (t) 优胜邻域在训练开始时覆盖整个输出线阵，以后训练次数每增加Δt =tm/P，Nj*(t)邻域两端各收缩一个神经元直至邻域内只剩下获胜神经元。 对η(t)采用了以下模拟退火函数： η0＝0.95 tm＝5000 tp＝1500

52 基于SOM神经网络的皮革聚类 4.皮革纹理分类结果

53 SOM网用于物流中心城市分类评价 (1)物流中心城市评价指标与数据样本 简单选取5个评价指标作为网络输入： x1—人均GDP(元)，

54 44个物流中心城市分类评价样本

55 SOM网用于物流中心城市分类评价 (2)物流中心城市的分类和评价分析 全国性物流中心城市 物流中心城市 综合型 区域性物流中心城市 货运型
地区性物流中心城市

56 SOM网用于物流中心城市分类评价 (2)物流中心城市的分类和评价分析
其后为收敛阶段，学习率为= 0.02。 将44个数据样本归一化，输入网络进行训练。经过试验比较，最终取类别数为8，得到如下表所示的分类结果。

57 物流中心城市分类结果

58 上机实验说明 任务：用平面网格状样本训练SOM网络 权值初始化后的输出平面

59 训练过程中的输出平面

60 训练过程中的输出平面

61 训练过程中的输出平面

62 训练过程中的输出平面

63 训练接近尾声的输出平面

64 用球面状样本训练SOM网络 Sphere——球面

65 用蝴蝶状样本训练SOM网络 Twist——扭转

66 用抛物面样本训练SOM网络 Parabola——抛物面

67 用三次曲线状样本训练SOM网络 Cubic——三次曲线

68 用余旋状样本训练SOM网络 Cosine——余弦

69

70