各种机器人 美军研制成功RobartIII型防暴机器人(附图) 美军首批参与实战的机器人士兵现身巴格达(图) 美国陆军明年将部署装备机枪的机器人(图) 美国军用排爆机器人到广东做演示(组图) 美大规模研制战争机器人 首批将进入伊战场 韩国为驻伊橄榄部队配备国产警戒战斗机器人 爆拆弹机器人参加反恐演练(图) 信息工程学院 2007年5月10日

仿人体机器人。不仅形象酷似人体，还可以仿人体做32个动作，他既可以向大家介绍机器人的工作原理，也能指挥乐队为大家演奏精美的乐曲; （观看视频） 仿人体机器人。不仅形象酷似人体，还可以仿人体做32个动作，他既可以向大家介绍机器人的工作原理，也能指挥乐队为大家演奏精美的乐曲; 两个工业机器人。每个机器人有六个自由度;以投球比赛形式介绍工业机器人，工作在许多枯燥、危险、有毒、有害的环境中。它的定位精度是0.1毫米; 机器龟穿迷宫：介绍智能机器人全方位行走和路线探测、路线识别形技术，机器龟身上有12个传感器，用来探测障碍、识别路线。观众可以随心所欲地设置迷宫形式，不论迷宫形式怎样变化，机器龟都能通过不断探测找到终点，而且还能记路，沿着探测到的正确路线返回到起始点。 那么什么是机器人呢？ 信息工程学院 2007年5月10日

机器人 “robot”一词源出自捷克语“robota”，意谓“强迫劳动”。1920年捷克斯洛伐克作家萨佩克写了一个名为《洛桑万能机器人公司》的剧本,他把在洛桑万能机器人公司生产劳动的那些家伙取名“Robot”,汉语音译为“罗伯特”，捷克语意为“奴隶”——萨佩克把机器人的地位确定为只管埋头干活、任由人类压榨的奴隶，它们存在的价值只是服务于人类。它们沒有思维能力,不能思考,只是类似人的机器,很能干,以便使人摆脱劳作。它们能生存20年,刚生产出来时由人教它们知识。他们不能思考，也有感情，一个人能干三个人的活，公司为此生意兴隆。后来一个极其偶然的原因,机器人开始有了知觉,它们不堪忍受人类的统治,做人类的奴隶,于是,机器人向人类发动攻击,最后彻底毁灭了人类。“机器人”的名字也正式由此而生。 那么什么是机器人呢？ 信息工程学院 2007年5月10日

机器人三大定律 机器人是虽然外表可能不像人，也不以人类的方式操作，但可以代替人力自动工作的机器。后来美国著名科普作家艾萨克.阿西莫夫为机器人提出了三条原则，即“机器人三定律”： 第一定律——机器人不得伤害人，或任人受到伤害而无所作为； 第二定律——机器人应服从人的一切命令，但命令与第一定律相抵触时例外； 第三定律——机器人必须保护自身的安全，但不得与第一、第二定律相抵触。 这些“定律”构成了支配机器人行为的道德标准，机器人必须按人的指令行事，为人类生产和生活服务。 机器是如何了解并实现上述功能的呢？通过学习。 信息工程学院 2007年5月10日

本章主要讨论机器学习的基本概念和一些非连接主义的机器学习方法，连接主义的神经网络学习将放到下一章讨论。 学习是人类获取知识的重要途径和人类智能的重要标志，而机器学习则是计算机获取知识的重要途径和人工智能的重要标志。在人工智能系统中，知识获取一直是一个“瓶颈”问题，而解决这一问题的关键又在于如何提高机器的学习能力。因此，机器学习应该是人工智能的核心研究课题之一。 本章主要讨论机器学习的基本概念和一些非连接主义的机器学习方法，连接主义的神经网络学习将放到下一章讨论。 信息工程学院 2007年5月10日

6.1 机器学习的基本概念 6.1.1 学习和机器学习（什么是学习？） 6.1 机器学习的基本概念 6.1.1 学习和机器学习（什么是学习？） 学习是人们习以为常的一个概念，但究竟什么是学习，却至今仍无一个统一的定义。产生这一现象的原因主要这与以下三个方面的因素有关： 第一，学习是一种综合性的心理活动，它与记忆、思维、知觉、感觉的等多种心理活动密切联系，使得人们难以弄清它的机理； 第二，学习是一种具有多侧面的现象，它包括获取或发现新知识，修正或精化老知识，归纳或演绎原有知识等多种实践活动，使得人们很难把握它的实质； 第三，从事学习研究的学者多来自不同的学科，如社会学家、逻辑学家、心理学家等，他们分别从不同的角度对学习给出了不同的解释、提出了不同的观点。 信息工程学院 2007年5月10日

在各种不同的观点中，西蒙和明斯基给出的定义影响最大。 西蒙（1983）认为： “学习就是系统中的变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好”。 明斯基（1985）认为： “学习是我们头脑里有用的变化”。 在上述定义中，西蒙的观点虽然被广泛采用，但却难以对系统的改善给出严格的准则；明斯基的观点，就连他本人后来也发现这个定义对应用是太广了。 除了西蒙和明斯基的定义外，还有一些不同的观点。例如，“学习是对经历描述的建立和修改”；“学习是知识的增长”等。 这些观点虽然不尽相同，但却都包含了知识获取和能力改善这两个主要方面。 所谓知识获取是指获得知识、积累经验、发现规律等。 所谓能力改善是指改进性能、适应环境、实现自我完善等。 在学习过程中，知识获取与能力改善是密切相关的，知识获取是学习的核心，能力改善是学习的结果。 通过以上分析，我们可以对学习给出如下较为一般的解释： 学习是一个有特定目的的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。 信息工程学院 2007年5月10日

2. 什么是机器学习 机器学习是一门研究怎样用计算机来模拟或实现人类学习活动的学科。它是人工智能中最具有智能特征的前沿的研究领域之一。目前，关于机器学习的研究主要集中在以下三个方面： (1) 认知模拟 认知模拟研究的主要目的是要通过对人类学习机理的研究和模拟，从根本上解决机器学习方面存在的种种问题。 (2) 理论性分析 理论分析研究的主要目的是要从理论上探索各种可能的学习方法，并建立起独立于具体应用领域的学习算法。 (3) 面向任务的研究 面向任务研究的主要目的是要根据特定任务的要求，建立相应的学习系统。 信息工程学院 2007年5月10日

6.1.2 机器学习的发展过程 回顾机器学习的发展过程，可划分为若干个不同的阶段。至于如何划分这些阶段，却有多种不同的方法。例如，可以按照机器学习的发展形势，将它分为热烈时期、冷静时期、复兴时期及蓬勃发展时期4个阶段；也可以按照机器学习的研究途径和目标，将它分为神经元模型研究、符号概念获取、知识强化学习及连接机制学习4个阶段。下面我们按照后一种方法讨论机器学习的发展过程。 信息工程学院 2007年5月10日

1. 神经元模型研究 这一阶段开始于20世纪50年代中期，所研究的是“没有知识”的学习。其主要研究目标是各种自组织系统和自适应系统；所基于的基本思想是：如果给系统一组刺激，一个反馈源，以及修改自身的足够自由度，那么系统将能自适应地趋向最优组织；所采用的主要研究方法是不断修改系统的控制参数，以改进系统的执行能力，而不涉及与具体任务有关的知识；所依据的主要理论基础是早在40年代就开始研究的神经元网络模型。（列车有效载荷计算） 这一阶段最具有代表性的工作是罗森勃拉特(F.Rosenblatt)1957年提出的感知机模型，它由阈值性神经元组成，试图模拟人脑的感知及学习能力。但遗憾的是，大多数想产生某些复杂智能系统的企图都失败了。不过，这一阶段的研究工作导致了模式识别这个新兴学科的诞生和判别函数法这种重要机器学习方法的产生。塞缪尔的下棋程序就是适用判别法的典型例子。该程序具有一定的自学习、自组织、自适应能力，能够根据下棋时的实际情况决定走步策略。不过，这种脱离知识的感知模型学习系统具有很大的局限性，远不能满足人们对机器学习系统的期望。也有人把这一阶段称为机器学习的热烈时期。 关于神经元网络模型的研究，明斯基在1969年发表的颇有影响的论著“Perceptron”中对其做出了悲观的论断。由于明斯基在人工智能界的威望，以及神经元模型自身的局限性，致使神经元模型的研究落入低潮。 信息工程学院 2007年5月10日

2. 符号概念获取 这一阶段开始于20世纪60年代中期。符号概念获取的主要研究目标是模拟人类的概念学习过程。其学习过程是通过分析一些概念的正例和反例构造出这些概念的符号表示。概念的符号表示一般采用逻辑表达式、决策树、产生式规则或语义网络等形式。这一阶段的代表性工作有温斯顿的结构学习系统和海斯-罗思(Hayes-Roth)等人的基于逻辑的归纳学习系统。 虽然这类学习系统取得了较大的成功，但它们只能学习单一概念，且未能投入实际应用。再加上神经元模型研究的低落，使得不少人对机器学习感到失望，因此也有人把这一阶段称为机器学习的冷静时期。 信息工程学院 2007年5月10日

3. 知识强化学习 这一阶段开始于20世纪70年代中期。其主要特点有以下几个方面：第一，人们开始从学习单个概念的研究扩展到学习多个概念的研究；第二，各种机器学习过程一般都建立在大规模知识库的基础上，实现知识的强化学习；第三，开始把机器学习与各种实际应用相结合，尤其是专家系统在知识获取方面的需求，极大地刺激了机器学习的研究和发展，示例归纳学习系统是当时的研究主流，自动知识获取是当时的应用研究目标。 这一阶段的代表性工作有莫斯托夫(D.J.Mostow)的指导式学习、温斯顿等人的类比学习以及米切尔(T.J.Mitchell)等人的解释学习等。此外，机器学习方面的另外一件大事是1980年在美国卡内基-梅隆大学(CMU)召开的第一届机器学习国际研讨会，它标志着机器学习的研究已经在全世界兴起。因此，也有人称这一阶段为机器学习的复兴时期。 信息工程学院 2007年5月10日

4. 连接学习和混合型学习 这一阶段开始于20世纪80年代中期。在此之前的十多年中，虽然神经元模型研究落入了低潮，但仍有一部分学者在潜心研究。在他们的艰苦努力下，终于克服了神经元模型的局限性，提出了多层网络的学习算法，再加上VLSI技术、超导技术、生物技术、光学技术等的发展与支持，神经元网络研究又在一个新的起点上再度兴起，从而使机器学习进入了连接学习的研究阶段。连接学习是一种以非线性、大规模并行处理为主流的神经网络研究，这一研究目前还方兴艾，并向传统的符号学习提出了挑战。 在连接学习东山再起的同时，传统的符号学习研究也取得了很大进展。实际上，连接学习和符号学习各有所长，并具有很大的互补性。因此，把符号学习和连接学习结合起来的混合型学习系统研究已成为机器学习研究的一个新的热点。如果能够把这两种不同的学习机制有机地融合在一起，就可以在一定程度上有机地模拟人类的逻辑思维和直觉思维，这将是人工智能领域的一个重大突破。 信息工程学院 2007年5月10日

目前，研究人员已经提出了一些混合方法，这些方法的基本思路是将符号学习所学到的不完善的领域知识按照一定的转化规则构成一个神经网络，然后再利用连接机制继续学习。从国内外研究现状来看，符号学习和连接学习都仍有着广阔的研究前景，尤其是在二者的结合方面，无论是从理论研究还是从实际应用都是如此。例如，基于生物发育进化论的进化学习系统和遗传算法，因吸取了归纳学习与连接学习的长处而倍受重视。 信息工程学院 2007年5月10日

要使计算机具有某种程度的学习能力，即使计算机能够通过学习增长知识、改进性能、提高智能水平，就需要为它建立相应的学习系统。 6.1.3 学习系统 要使计算机具有某种程度的学习能力，即使计算机能够通过学习增长知识、改进性能、提高智能水平，就需要为它建立相应的学习系统。 1. 什么是学习系统 所谓学习系统是指能够在一定程度上实现机器学习的系统。1973年萨利斯(Saris)曾对学习系统给过如下定义：如果一个系统能够从某个过程和环境的未知特征中学到有关信息，并且能把学到的信息用于未来的估计、分类、决策和控制，以便改进系统的性能，那么它就是学习系统。1977年史密斯(Smith)又给出了一个类似的定义：如果一个系统在与环境相互作用时，能利用过去与环境作用时得到的信息，并提高其性能，那么这样的系统就是学习系统。 信息工程学院 2007年5月10日

系统的学习行为应该有高度的目的性，即系统必须知道他要学习什么。 (2) 结构性 2. 学习系统的特征 学习系统通常应具备以下4各方面的特征： (1) 目的性 系统的学习行为应该有高度的目的性，即系统必须知道他要学习什么。 (2) 结构性 系统必须具备适当的结构来记忆已经学到的知识，即能够对知识表示和知识组织形式进行修改和完善。 (3) 有效性 系统学到的新知识必须有益于改善系统的行为。 (4) 开放性 系统的能力应该能够在其实际使用过程或同环境的交互过程中不断进化。 信息工程学院 2007年5月10日

通常，一个学习系统应该满足如下的基本要求： (1) 具有适当的学习环境 (2) 具有一定的学习能力 (3) 能够运用所学知识求解问题 3. 学习系统的基本要求 通常，一个学习系统应该满足如下的基本要求： (1) 具有适当的学习环境 (2) 具有一定的学习能力 (3) 能够运用所学知识求解问题 (4) 能通过学习提高自身性能 信息工程学院 2007年5月10日

4. 学习系统的基本模型 通过以上分析可以看出，一个学习系统不仅与环境和知识库有关，而且还应该包含学习和执行两个重要环节，它们之间的关系如图6-1所示。该图给出了学习系统的基本模型，它由4部分组成。其中，环境是以某种形式表达的外界信息集合，它代表外界信息来源；学习环节是将外界信息加工为知识的过程，它先从环境获取外部信息，然后对这些信息进行分析、综合、类比、归纳等加工形成知识，并把这些知识放入知识库中；知识库是以某种形式表示的知识集合，用来存放学习环节所得到的知识；执行环节是利用知识库中的知识完成某种任务的过程，并把完成任务过程中所获得的一些信息反馈给学习环节，以指导进一步的学习。下面分别对这4部分内容进行更详细的讨论。 信息工程学院 2007年5月10日

下面讨论按学习策略来划分机器学习类型的问题。 6.1.4 机器学习的分类 机器学习的分类可以有多种不同的方法。例如，按学习方法分类，按学习策略分类，按知识表示方法分类，按应用领域分类，按对人类学习的模拟方式分类等。如果按学习方法分类，机器学习可分为机械式学习、指导式学习、示例学习、类比学习、解释学习等；如果按照学习策略分类，即按照学习中所使用的推理方法，机器学习可分为记忆学习、传授学习、演绎学习、类比学习和归纳学习等；如果按照所学知识的表示方法分类，机器学习可分为逻辑表示法学习，产生式表示法学习，框架表示法学习等；如果按照应用领域分类，机器学习可分为专家系统学习、机器人学习、自然语言理解学习等；如按照对人类学习的模拟方式分类，机器学习可分为从功能上模拟的符号学习和从结构上模拟的连接学习。 下面讨论按学习策略来划分机器学习类型的问题。 信息工程学院 2007年5月10日

1. 机械式学习 机械式学习也称为记忆式学习。这是一种最简单、最原始的学习方法，它通过记忆和评价外部环境所提供的信息达到学习的目的。在这种学习方法中，学习环节对环境提供的信息不做任何变换，因此环境提供的信息和执行环节使用的信息具有相同的水平和形式。实际上，每台计算机都可以看作是记忆学习，因为它们都存储有用户输入的信息。 2. 传授学习 传授学习也称为指导式学习。在这种学习方式下，学习环节的任务只是对环境提供的信息进行选择和改造，并主要是在语法层次的变换。由于环境提供的信息过于抽象，高于执行环节所用信息的水平，因此学习环节需要把较高水平的知识转换成交低水平的知识。这种变换称为实用化，它有点类似于编译系统把高级语言程序变换为机器代码程序。 信息工程学院 2007年5月10日

演绎学习是指以演绎推理为基础的学习。在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。(从一般到具体) 3. 演绎学习 演绎学习是指以演绎推理为基础的学习。在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。(从一般到具体) 4. 归纳学习 归纳学习是指以归纳推理为基础的学习。根据学习过程有无教师指导，归纳学习又分为有导师指导的示例学习和无导师指导的观察与发现学习。示例学习也称为实例学习或从例子中学习，它的任务是确定概念的一般描述，这个描述应能能够解释所有给定的正例，并排除所有给定的反例。观察与发现学习又可分为观察学习与机器发现两种。观察学习用于对事例进行概念聚类，形成概念描述。机器发现用于发现规律，产生定律或规则。 信息工程学院 2007年5月10日

5. 类比学习 类比学习是演绎学习与归纳学习的组合。这是一种利用相似性从已知的某一领域知识得到另一领域中相似知识的学习方法。它首先需要匹配不同论域的描述，确定公共的子结构，然后再以此公共的子结构为基础进行类比映射。其中，寻找公共子结构是归纳推理，而实现类比映射则是演绎推理。 信息工程学院 2007年5月10日

6.2 机械式学习 机械式学习(Rote learning)是一种最基本的学习过程，它没有足够的能力独立完成智能学习，但对学习系统来说都是十分重要的一个组成部分，原因是任何学习系统都必须记住它们所获取的知识，以便将来使用。 机械学习的过程是：执行元素每解决一个问题，系统就记住这个问题和它的解，当以后再遇到此类问题时，系统就不必重新进行计算，而可以直接找出原来的解去使用。如果把执行元素比作一个函数F、由环境得到的输入模式记为(x1,x2,…,xn)、由该输入模式经F计算后得到的输出模式记为(yi,y2,…,ym)，则机械学习系统就是要把这一输入输出模式对： [(x1,x2,…,xn) ，(yi,y2,…,ym)] 保存在知识库中，当以后再需要计算F(x1,x2,…,xn)时，就可以直接从存储器把(yi,y2,…,ym)检索出来，而不需要再重新进行计算。以医生看病问题为例，一个医生经过长期的医疗实践，会从大量的病例中归结出许多诊断经验。其中，每一条经验都相当于一个输入输出模式对。这样，医生每遇到一个病人时，就可以直接利用已经归纳出来的诊断经验，而不必每遇到一个病人都再去重新归纳经验。 信息工程学院 2007年5月10日

机械式学习实际上就是一种用存储空间来换取处理时间的方法。机械式学习的设计要考虑以下三个问题： (1) 存储结构 对一个问题，只有当它的检索时间小于其重新计算时间时，机械学习才是有价值的。其检索速度越快，意义越大。如果检索时间超过了重新计算时间，那么就会降低系统效率，机械式学习就失去了意义。因此，尽可能缩短检索时间、提高系统效率，是机械式学习中的一个重要问题。为了提高检索速度，就需要采用适当的存储结构。这些存储结构，人们已经在数据结构和数据库领域作料许多详尽的研究，可以拿来直接使用。 信息工程学院 2007年5月10日

(2) 环境稳定性 作为机械式学习基础的一个重要假设，是某一时刻存储的信息仍然适用于以后的情况。如果环境信息变化非常频繁，则作为机械式学习基础的这个假设就会失效。因此，机械式学习方法不适应于剧烈变化的环境。 (3) 记忆与计算的权衡 为了确定是利用存储的信息还是重新计算，要比较二者的代价。对记忆与计算的权衡有一下两种方法：一种是代价效益分析法。它是在首次得到一个信息时，要考虑该信息以后使用的概率、存储空间和计算代价，以决定是否有必要保存。另一种是最近未使用代替法。它是对所保存的内容都加上一个时间标志，当保存够一定的内容以后，每保存一项新的内容，就删除一项最长时间没有使用的老内容。 机械式学习的典型代表是西蒙的西洋跳棋程序。该程序用极大极小博弈树搜索来选择走法。学习环节记忆了棋局态势和倒推的极大极小值。这样，在下棋过程中，只要碰到过去出现过的棋局，就可以直接采用原来的走棋方案。 信息工程学院 2007年5月10日

一般来说，指导式学习的学习过程由如下步骤组成： (1) 请求 6.3 指导式学 指导式学习(Learning by being told)又称嘱咐式学习或教授式学习。其核心问题是如何把由外部环境向系统提供的、不能被直接执行的知识或建议转化为可执行的知识。在学习过程中，系统需要对形成的知识反复进行评价，使其不断完善。 一般来说，指导式学习的学习过程由如下步骤组成： (1) 请求 这一步是向指导者请求建议。其请求方式可以是简单的，也可以是复杂的；可以是主动的，也可以是被动的。简单请求是指由指导者给出一般性的建议，系统将其具体化。复杂请求是指系统不仅要求指导者给出一般性的建议，而且还要根据知识库中存在的问题要求指导者给出修改意见。被动请求是指系统仅是被动的等待指导者提供建议。主动请求是指系统不只是简单的接受指示，而且还能主动的提出询问，把指导者的注意力集中在特定问题上。 信息工程学院 2007年5月10日

(2) 解释 这一步是接受建议并将其转化成机器的内部形式。为了使系统能够接受指导者的建议，系统首先必须能够识别指导者的建议，如果指导者的建议是用自然语言描述的，则系统的识别将比较困难，原因是需要理解自然语言，并把其转化为无二义性的内部表示形式；如果指导者的建议是用一种受限制的语言描述的，则系统的识别就会容易一些。语言受限制越多，系统识别将越容易，但指导者会感到越不方便。 (3) 实用化 这一步是把经解释后的指导者的建议转换成具体的知识。尽管通过解释可以把指导者的建议转化成机器的内部形式，但是这种内部形式是不能被执行元素直接使用的。原因是指导者的建议通常是一些抽象的、一般性的建议，而执行元素所要求的往往是一些能够指导具体行为的知识。 信息工程学院 2007年5月10日

实用化过程有点像把高级语言的程序设计说明转化为应用程序的自动程序设计系统，但比自动程序设计系统的要求要低。自动程序设计系统要求给出的是一个完全正确的程序，而实用化却不能保证所建立知识的绝对正确性。因此，有操作化建立的知识具有暂时性，在被最终接受以前必须经过检测和调试。 (4) 归并 这一步是把新知识加入知识库。在把新知识添加到知识库时，必须考虑加入该知识是否合适。在知识库中加入新知识，通常会引起以下两种问题：一种是重叠使用问题；另一类是结论冲突问题。 信息工程学院 2007年5月10日

所谓重叠使用问题是指加入新规则时，如果这条规则的条件部分比其他规则更具有一般性（即条件部分的子条件更少），例： IF E1 AND E2 END E3 THEN H （更特殊） IF E1 AND E2 THEN H （更一般） 这就会造成在应用其他规则的场合也使用这条新规则，即出现重叠使用。 解决这个问题有两种方法： 一种是使规则特殊化，这样重叠问题就不会再出现； 另一种是使用元规则，即在知识库中加人一些用来指定其他规则优先级的元规则。 信息工程学院 2007年5月10日

所谓结论冲突问题是指在同一条件下，会有两条以上可用规则，并且这些规则的结论部分互不相容，即出现了矛盾结论。例： IF E THEN H1 IF E THEN H2 且H1∩H2=Φ 解决这个问题的办法也有两种，一种是修改规则的条件以消除矛盾；另一种是利用元规则排序，以确定优先使用哪一条规则。 信息工程学院 2007年5月10日

要对系统的执行结果进行评价，就需要有一套评价标准。评价标准的建立通常有两种方法： (5) 评价 这一步是对新知识的评价。由于指导式学习系统从指导者哪里得到的建议经过解释、实用化、归并后有可能在知识库中产生某些问题，因此必须对新加入的知识进行评价。学习系统可以通过检查来识别将新知识加入知识库后是否会引起矛盾。但最常用的方法是让系统用这些新知识去执行某些实际任务，然后观察其执行效果，并进行评价。 要对系统的执行结果进行评价，就需要有一套评价标准。评价标准的建立通常有两种方法： 一种方法是把评价标准建立在程序中，例如下棋程序，可以通过棋局的胜负来评价系统的性能； 另一种方法是建立有关新知识如何影响系统执行的详细估计，用它来发现并找出知识库中的错误。 指导式学习是一种比较实用的学习方法，它既可以避免由系统自己进行分析、归纳产生新知识所带来的困难，又无须领域专家了解系统内部知识表示和组织的细节，比较适用于专家系统的知识获取。 信息工程学院 2007年5月10日

根据学习过程有无教师指导，归纳学习可分为示例学习和通过观察与发现学习两大类型。 1.示例学习（实例学习） 6.4 归纳学习 归纳学习(Inductive Learning)是指以归纳推理为基础的学习，它是机器学习中研究得较多的一种学习类型，其任务是要从关于某个概念的一系列已知的正例和反例中归纳出一个一般的概念描述。 6.4.1 归纳学习的类型 根据学习过程有无教师指导，归纳学习可分为示例学习和通过观察与发现学习两大类型。 1.示例学习（实例学习） 示例学习(Learning from Examples)是归纳学习的一种特例。它给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，并使这个描述适合于所有的正例，排除所有的反例。根据所用例子的不同来源和不同类型，示例学习有以下两种分类方法： 信息工程学院 2007年5月10日

③ 例子来源于学习者以外的外部环境的示例学习。在这种方式下，例子的产生过程是随机的。 (2) 按可用例子的类型分类 (1) 按例子的来源分类 根据例子来源的不同，示例学习可分为： ① 例子来源于教师的示例学习。 ② 例子来源于学习者本身的示例学习。学习者明确知道自己的状态，但完全不清楚所要获取的概念。学习者可以根据信息产生例子，并让学习环境或教师来区分正例或反例。 ③ 例子来源于学习者以外的外部环境的示例学习。在这种方式下，例子的产生过程是随机的。 (2) 按可用例子的类型分类 根据学习者所获取的可用例子的类型，示例学习可分为： ① 仅利用正例的示例学习。这种学习方法会使推出的概念的外延扩大化。一种有效的解决办法是依靠预先了解的领域知识对推导出的概念加以限制。 ② 利用正例和反例的示例学习。这是示例学习的一种典型方式，它用正例用来产生概念，用反例用来防止概念外延的扩大。 信息工程学院 2007年5月10日

这种学习方法需要学习者把从环境中得到的多方面的观察现象进行分类。 (2) 主动实验学习 2. 观察与发现学习（自学） 观察与发现学习(Learning from Observation and Discovery)又称非受控学习。它不需要为学习者提供特定概念的示例，也不需要提供如何将内部产生的例子归类到某一概念的正例或反例的途径，需要学习者进行更多的推理。按照学习者与环境相互作用的程度，可以把观察和发现学习分为以下两种类型： (1) 被动观察学习 这种学习方法需要学习者把从环境中得到的多方面的观察现象进行分类。 (2) 主动实验学习 这种学习方法需要学习者主动变动一下学习环境，观察其变动情况，然后根据一般规律动态地搜集经验，或者在理论指导下推导出经验。 信息工程学院 2007年5月10日

6.4.2 示例学习 示例学习也称为实例学习。它是一种从具体示例中推导出一般性知识的学习方法。在这种学习方式下，外部环境提供的是一些具体示例，并且这些示例都是一些非常初级的信息，学习系统需要从这些大量示例中，归纳出适应于更大范围的一般性知识。例如，如果要教会一个系统懂得“猫”的概念，我们可以为系统提供各种动物的例子，并且告诉系统那些是猫，那些不是猫。而该学习系统应该能够从大量的示教例子中，总结出识别猫的一般规则，并能把猫和其他动物区别开来。 信息工程学院 2007年5月10日

示例学习的学习模型如图6-3所示。在该模型中，有两个重要的空间概念，一个示例空间，另一个是规则空间。 示例空间是我们向系统提供的示教例子的集合。例如，前面为了教会系统识别猫而提供的各种动物例子都在示例空间中。 规则空间是事物所具有的各种规律的集合。例如，“猫有4条腿”，“猫有两只眼睛”，“猫会咪咪叫”，“猫会捉老鼠”等。 示例学习系统应该能从示例空间的大量示例中，总结出规则空间中的这些规律。 信息工程学院 2007年5月10日

在两个空间模型下，示例学习的学习过程是： 首先应该为例子空间提供足够多的示教例子；然后，由解释过程对示例空间的例子进行解释，并抽象出一般性知识放入规则空间；此后，由验证过程利用示例空间的示例对这个知识的正确性进行验证，如果发该知识不正确，则需要再到示例空间中获取示例，并对刚形成的知识进行修正；重复上述循环，直到形成正确的知识为止。 下面对上述学习模型中的4个组成部分分别进行讨论。 1. 示例空间 对示例空间，有两个重要问题，一个是例子的质量，另一个是例子空间的搜索方法。 信息工程学院 2007年5月10日

搜索例子空间的目的一般是要选择适当的示例，以便证实或否决规则空间中的知识。可见，搜索例子空间的方法是与规则空间有关的。其主要策略有以下几种： (1) 例子的质量 例子空间的例子应该是无二义性的，只有这样才能对解释过程和验证过程提供可靠的指导。而那些低质量的例子不仅会引起相互矛盾的解释，而且也会影响知识正确性的验证。在示例学习中，例子空间中的示例被明确的分为正例和反例两部分。如果例子空间中的示例未经分类，则相应的学习方法称为观察和发现学习。 (2) 例子空间的搜索方法 搜索例子空间的目的一般是要选择适当的示例，以便证实或否决规则空间中的知识。可见，搜索例子空间的方法是与规则空间有关的。其主要策略有以下几种： ① 如果选择示例的目的是为了缩小规则空间的搜索范围，则应优先选择那些对划分规则空间最有利的示例，以便尽快缩小在规则空间中的搜索范围； ② 如果选择示例的目的是为了验证某个规则，则应优先选择规则集中最有希望的规则，然后再针对这些规则从例子空间中选择适当的示例对其进行验证； ③ 如果选择例子的目的是为了否决规则集中的某个规则，则应注意选择那些与规则相矛盾的示例。 信息工程学院 2007年5月10日

这是枚举归纳的一种常用方法。例如，假设例子空间中有以下两个关于扑克牌中“同花”概念的示例： 2. 解释过程 解释过程的主要任务是从搜索到的示例中抽象出所需的信息，并对这些信息进行综合、归纳，形成一般性的知识。这种形成知识的过程实际上是一个归纳推理的过程。利用归纳推理形成知识的技术比较多，下面介绍最常用的几种。 (1) 把常量化为变量 这是枚举归纳的一种常用方法。例如，假设例子空间中有以下两个关于扑克牌中“同花”概念的示例： 示例1：花色(c1，梅花) ∧ 花色(c2，梅花) ∧ 花色(c3，梅花) ∧ 花色(c4，梅花)∧ 花色(c5，梅花) → 同花(c1, c2, c3, c4, c5) 示例2：花色(c1，红桃) ∧ 花色(c2，红桃) ∧ 花色(c3，红桃) ∧ 花色(c4，红桃)∧ 花色(c5，红桃) → 同花(c1, c2, c3, c4, c5) 其中，示例1表示5张梅花牌是同花，示例2表示5张红桃牌是同花。 信息工程学院 2007年5月10日

对这两个例子，只要把“梅花”和“红桃”用变量x代换，就可得到如下一般性的规则： 规则1：花色(c1，x) ∧ 花色(c2，x) ∧ 花色(c3，x) ∧ 花色(c4，x)∧ 花色(c5，x) → 同花(c1, c2, c3, c4, c5) (2) 去掉条件 这种方法是要把示例中的某些无关的子条件舍去。例如，有如下示例： 示例3：花色(c1, 红桃)∧点数(c1，2) ∧花色(c2, 红桃)∧点数(c2，3) ∧花色(c3, 红桃)∧点数(c3，4) ∧花色(c4, 红桃)∧点数(c4，5) ∧花色(c5, 红桃)∧点数(c6，6)→ 同花(c1, c2, c3, c4, c5) 为了学习同花的概念，得到上述规则1，除了需要把常量变为变量外，还需要把与花色无关的“点数”子条件舍去。 信息工程学院 2007年5月10日

增加选择实际上就是在析取条件中增加一个新的析取项。常用的增加析取项的方法有前件析取法和内部析取法两种。 (4) 曲线拟合 (3) 增加选择 增加选择实际上就是在析取条件中增加一个新的析取项。常用的增加析取项的方法有前件析取法和内部析取法两种。 (4) 曲线拟合 对数值问题的归纳可采用曲线拟合法。假设在例子空间中，每个正例(x, y, z)都是输入x, y与输出z之间关系的三元组。例如，有如下3个示例： 示例10：(0, 2, 7) 示例11：(6, -1, 10) 示例12：(-1, -5, -16) 用最小二乘法进行曲线拟合，可得到如下表示x, y, z之间关系的规则： 规则4：z=2x+3y+1 信息工程学院 2007年5月10日

归纳推理不是保真推理，而是保假的。也就是说，如果前提为真，则得到的结论不一定为真；如果前提为假，则得到的结论一定为假。在示例学习中，引起归纳推理的非保真性的主要原因在于：例子空间中少数示例所含的信息往往少于确定规则所需要的最少信息。这也正是示例学习过程需要对所形成的规则进行验证的最主要原因。 信息工程学院 2007年5月10日

概念聚类(Conceptual Clustering)是一种观察学习方法。本节主要依据概念聚类技术来讨论观察与发现学习的有关问题。 6.4.3 观察与发现学习 观察与发现学习是通过对环境的观察来进行学习的。所谓对环境的观察，实际上仅仅是一些未经分类的例子。这种学习方法不需要老师的指导，只要有少量的初始知识就可以实现学习。 概念聚类(Conceptual Clustering)是一种观察学习方法。本节主要依据概念聚类技术来讨论观察与发现学习的有关问题。 1. 什么是概念聚类 所谓概念聚类是指把观察到的事物划分成若干类，并建立相应概念的过程。例如，人类观察周围的事物，对比各类物体的特征，把它们分成动物、植物和非生物等，并给出每一类的定义。 信息工程学院 2007年5月10日

传统的聚类分析方法是基于事物相似性的数值度量。它使得不同类型事物间的相似性尽量小，同一类型事物间的相似性尽量大，以得到在某种判断准则下的最佳分类。由于这种度量方法只取决于两个事物本身的特征，与周围环境无关，因此是上下文无关的。并且，它没有考虑事物的综合特征，也没有描述事物类型的概念。 为了解决这些问题，产生了概念聚类方法。例如，图6-4所示的情况，人们一般认为图中的点排成了两个菱形。这样，虽然点A和点B的距离最近，但却分别属于两个图形。它说明人们不是按两点之间的距离这种数值度量进行分类的，而是按概念的成员关系来分类的。A和B的这种相似性就称为概念聚类。可见，概念聚类的思想更接近于人类的思维方式。 信息工程学院 2007年5月10日

6.5 基于类比的学习 类比学习(Learning by Analogy)是一种利用相似性来认识新事物的学习方式，其基础是类比推理。目前已由多种类比学习方法，本节主要讨论其中最基本的两种，即属性类比学习和转换类比学习。 6.5.1 类比学习的概念 1.类比和类比推理 类比是一种重要的认知方法，或者说是人类根据以往经验应用相似性来认识新事物的一种思维方式。无论在科学上，还是在日常生活中，类比现象都是普遍存在的。例如，有人说李严象科学家，人们立刻就会想到李严聪明勤奋、谦虚严谨，并且善于思考，勇于创新。原因是人们头脑里本来就有一个科学家的概念，一听说李严象科学家，就把李严与科学家进行了类比。 类比推理是人们常用的一种推理方式。它是指根据一个已知事物，通过类比去解决另一个未知事物的推理过程。即当一个新的事物和另一个已知事物在某些方面相似时，从而可以推出这个新的事物和已知事物在其它方面也相似。类比推理的基础是相似性。 信息工程学院 2007年5月10日

类比学习的学习过程也可用以下步骤来描述： (1) 联想搜索匹配 2. 类比学习及其学习过程 类比学习是一种通过类比推理获取新知识的学习方式。其主要学习过程是，先通过对新事物和已知事物的比较，找出它们在某一抽象层上的相似关系，然后再以这种相似关系为依据，把已知事物的有关知识加以变换，对应到新事物中，从而获得新事物的有关知识。 类比学习的学习过程也可用以下步骤来描述： (1) 联想搜索匹配 对一个给定的新事物，根据该事物的描述提取其特征，并用这些特征去搜索一个与之相似的已知事物，并对此已知事物进行匹配。 信息工程学院 2007年5月10日

判断已知事物的条件与新事物的相似度，以检验类比的可行性。如果他们的相似度达到了有关的阈值，则说明类比匹配成功。 (2) 检验相似程度（已经W(A),　规划：对于任意一个W(x)－＞ Q(x)，使用谓词公式的置换进行推理）（已经P(A),　规划：对于任意一个W(x)－＞Q(x), 使用谓词公式的合一进行推理，P行乘以θ，与谓词公式W形式合一。比如“善飞”和“会飞”） 判断已知事物的条件与新事物的相似度，以检验类比的可行性。如果他们的相似度达到了有关的阈值，则说明类比匹配成功。 (3) 修正变换求解 为了把匹配成功的已知事物用于新事物，一般需要对已知事物的有关知识进行适当地修正或变换，以导出适合于新事物的解。 (4) 更新知识库（比如“善飞”和“会飞”，原来规划库中是会飞，现在是“善飞”或“会飞”，则推出结论。） 当新事物的解求出以后，应将此新事物及其解一同并入知识库。 信息工程学院 2007年5月10日

解释学习可用于获取控制性知识，精化知识，软件重用，计算机辅助设计和计算机辅助教育等方面。 6.6 基于解释的学习 解释学习(Explanation-Based Learning)是一种分析学习方法。这种方法是在领域知识的指导下，通过对单个问题求解例子的分析，构造出求解过程的因果解释结构，并获取控制知识，以便用于指导以后求解类似问题。 解释学习可用于获取控制性知识，精化知识，软件重用，计算机辅助设计和计算机辅助教育等方面。 信息工程学院 2007年5月10日