数据挖掘导论 福建医科大学 郑伟成

人工神经网络 人类早已成功使用机器完成繁重和重复的体力工作，但人们一直没有放弃让机器具有人类思维能力的努力。 电子计算机的出现，使其有了某些实现的可能性，特别是人工智能技术的发展，使得人们又向思维机器的研究方向迈进了一步。 人工神经网络技术又为我们进一步怎样模拟人类智能以及了解人脑思维的奥秘开辟了一条新的途径。

历史回顾 􀀀 1943年，美国McCulloch与Pitts从信息处理的角度，合作提出了第一个神经计算模型——二元神经元模型，简称MP模型。 1949年，心理学家D.O.Hebb对大脑神经细胞、学习与条件反射作了大胆地假设，提出了著名的Hebb学习规则，即由神经元之间结 合强度的改变来实现神经学习的方法。此基本思想至今在神经网络 的研究中发挥着重要作用。 50年代末期，Rosenblatt提出感知机（Perceptron），首先从工 程角度，研究了用于信息处理的神经网络模型。感知机具有神经网 络的一些基本性质，如分布存贮、并行处理、可学习性、连续计算 等。

人工神经网络的发展 的工作进行了深入的研究， 出版了有较大影响的《Perceptron》一 1969年，美国著名人工智能专家Minsky和Papert对Rosenblatt 的工作进行了深入的研究， 出版了有较大影响的《Perceptron》一 书，指出感知机的功能和处理能力的局限性，甚至连XOR（异或） 这样的问题也不能解决，同时指出如果在感知机中引入隐含神经 元，增加神经网络的层次，可以提高神经网络的处理能力，但是无 法给出相应的网络学习算法。 Minsky和Papert的观点是悲观的。 上世纪60年代以来集成电路和微电子技术日新月异的发展，使 得电子计算机的计算速度飞速提高，给人工智能从实验室走向实用 带来了希望。这些技术进步给人们造成这样的认识：以为串行信息 处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时 掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。

人工神经网络的发展 提出了自适应共振理论，Kohonen提出了自组织映射，Fukushima提 出了认知机网络模型理论等。 在神经网络发展遇到危机时，仍有一些学者在坚持。Grossberg等 提出了自适应共振理论，Kohonen提出了自组织映射，Fukushima提 出了认知机网络模型理论等。 进入上世纪80年代，首先是基于“知识库”的专家系统的研究与运 用，在许多方面取得了较大成功。但实际应用情况表明，专家系统并 不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、 联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临重 重困难。模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处 理等传统的方法来解决复杂的问题，会产生计算量的组合爆炸。 因此，具有并行分布处理的神经网络理论又重新受到人们的重 视，对神经网络的研究又开始复兴，掀起了第二次研究高潮。

人工神经网络的突破 络模型，对神经网络理论的发展产生了深远的影响。他引入了“能量 1982年，美国加州理工学院物理学家Hopfield提出了HNN神经网 络模型，对神经网络理论的发展产生了深远的影响。他引入了“能量 函数”的概念，使得网络稳定性研究有了明确的判决。HNN的电子电 路物理实现为神经计算机的研究奠定了基础，并应用于一些计算复杂 度为NP完全型的问题，如著名的“巡回推销员问题（TSP）”。 1984年，Hinton等人对Hopfield模型引入模拟退火方法，提出了 Boltzmann机模型。 1986年，Rumelhart提出了反向传播学习方法（BP算法），解决 了多层前向神经网络的学习问题，证明了多层前向网络具有很强的学 习能力。

神经元 网络单元（神经元）的输入输出特性（激活特性）、网络的拓扑结构 （神经元的连接方式）、连接权大小（突触联系强度）和神经元的阈 人工神经网络是对生物神经系统的模拟。它的信息处理功能是由 网络单元（神经元）的输入输出特性（激活特性）、网络的拓扑结构 （神经元的连接方式）、连接权大小（突触联系强度）和神经元的阈 值（可视为特殊的连接权）等决定。

人类神经网络 生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。 人脑大约有10e11-10e13个左右的神经细胞（神经元）。 每个神经元都是独立的，均有自己的核和自己的分界线或原生质膜。 神经元之间的相互连接从而让信息传递的部位被称为突触（Synapase）。 当神经细胞受到外界一定强度信号的刺激时，会引起兴奋，并出现一次可 传导的动作电位（即神经冲动）。 单个神经元可以从别的细胞接受多个输入，由于输入分布于不同的部位， 对神经元影响的比例（权重）是不相同的。 多个神经元以突触联接形成了一个神经网络。

人脑的数据处理 从宏观上讲，人脑的信息处理过程有如 下特点： 人脑对信息可以进行学习和记忆 人脑对信息有归纳整理的功能 人脑可以接受多种类型的信息 人脑具有多种思维的能力

信息学中的数据处理 并行分布处理的工作模式 与信息存贮合二为一 能接受和处理模糊的、模拟的、随机的信息 信息处理的系统性 求满意解而不是精确解

神经元结构模型 人工神经元模型是生物神经元的抽象和模拟，是神经网络的最基本 处理单元，一般是多输入-单输出的非线性器件。 ui 神经元模型常用一阶微分方程来描述（模拟生物神经网络突触膜电 位随时间变化的规律），即

神经元的输出转化函数

神经元的输出转化函数

人工神经网络的互连模式 前向网络 神经元分层排列，组成输入层、隐含层（可以有若干层）和输出 层。每一层的神经元只接受前一层神经元的输入。输入模式经过 各层的顺次变换后，在输出层输出。各神经元之间不存在反馈。 感知器和误差反向传播算法中使用的网络都属于这种类型。 BP神经网络、径向基函数网络等模型均属于前向网络类型。

人工神经网络的互连模式 输出反馈的前向网络 输出层对输入层有信息反馈，即每一个输入节点都有可能接受来 自外部的输入和来自输出神经元的反馈，这种模式可用来存储某 种模式序列，如神经认知机即属于此类。

MP模型 MP模型属于一种阈值原件模型，由美国Mc Culloch和Pitts提出 的，是大多数神经网络模型的基础。

MP模型

MP模型

感知器

简单感知器例子

感知器异或问题无解

层叠感知器求解

多层感知器求异或的一个解 2 1 1 0.5 -1.5 -1 1.5 1 1 2 1 1 1 -2 -1 1 1 1

多层感知器 只要隐层和隐层单元数足够多，多层感知器网络可实现任何模式 分类。 但是，多层网络的权值如何确定，即网络如何进行学习，在感知 器上没有得到解决。 当年Minsky等人就是因为对于非线性空间的多层感知器学习算法 未能得到解决，使其对神经网络的研究作出了悲观的结论，在一 个时期内，阻碍了神经网络的发展。