Hamming Neutral Network

Presentation on theme: "Hamming Neutral Network"— Presentation transcript:

1 Hamming Neutral Network

2 内 容 安 排 １．引出Hamming 神经网络 ２．网络结构图 ３．基本功能 ４．原理推导 ５．学习算法 ６．应用举例 ７．提出问题
内　容　安　排 １．引出Hamming 神经网络 ２．网络结构图 ３．基本功能 ４．原理推导 ５．学习算法 ６．应用举例 ７．提出问题 ８．仿真

3 一．引出Hamming网络 　　Hamming网络是双值输入下有导师学习的一种网络类型．在实现误差最小的最优分类方面，Hamming神经网络比Hopfield神经网络更为优越．更重要的是Hamming网络的各神经元之间的连接权数仅与输入模式的维数成正比，而Hopfield网络却与输入模式维数平方成正比．

4 二．网络结构方框图 第一层 第二层 △

5 三．基本功能 　 　Hamming 神经网络从功能上来看是最小Hamming 距离分类器．利用它能够完成不完整输入信息与所存储模式的最小汉明距离分类． 　　 Hamming 网络是一个双层神经网络，第一层网（即匹配子网络）是用来计算输入模式与该网络已经学习过的各样本之间的匹配测度．第二层网（即竞争子网络）接收从匹配子网络送来的未知模式与已存各样本的匹配测度，然后经过多次迭代运算就可以求得与输入模式相匹配的样本．

6 四．原理推导 下面根据第一层和第二层各自实现的功能分别进行简要推导． １．匹配子网络
输入为n维双值向量 则这层的目的是计算n－HD的值． HD为输入向量与已存样本的汉明距离．若 表示第m类n维样本向量， 则权向量 定义为 表示 与 相同位的总数减去不同位的总数,若Hamming距离 表示为不同位的总数，则有 权矩阵 为

7 其中，系数1/2是为了计算方便选定的． 当输入为X时，则有 f(x)在这里选阈值函数．则 由于

8 2.竞争子网络 第二层结构如图．它将匹配子网络输出的匹配测度的最大值检出，故又称为最大值检测器．它是一个反馈神经网络．自馈环的连接权为１，非自馈权的连接权为－∈．该层权矩阵为Wm为 其中， ，其作用函数见黑板．初始输入条件为 网络运行结果为 为非线形矩阵符，其I/O关系为： 如果 ,且　　　　　　　　　　 则经过迭代后，最小的 将首先达 到 ,而 降得较为缓慢，最后结果是第m个节点输出保持为非零，其余全为零．

9 五．学习算法 Step 1 连接权与阈值赋值 （１）对第一层权与阈值赋值． , （２）对第二层权赋值：
　　（１）对第一层权与阈值赋值． , （２）对第二层权赋值： 其中，　是第二层网中第k 个节点到第l个节点之间的连接权． Step 2 初始化未知输入模式 是第二层网中第j个节点在t=0时的输出； Step 3 按下式进行迭代直至收敛：

10 举例 (用Matlab对其进行仿真验证） 设计一个最小Hamming距离分类器。已知输入向量为9维，以点阵形式表示字母A,B,C 权矩阵 为

11 Step1 k=0

12 同理，Step2 k=1 ……… Step4 k=3

13 七．学习中遇到的问题 1. 为什么在第一层匹配测度出来的情况下还要经过第二层竞争出来？ 2. 竞争子网络怎么实现竞争功能的？

14 ！！！愚人节快乐！！！