机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

Slides:

Advertisements

Similar presentations

李时珍，明朝杰出的医学家和药物学家。其父是当地名医。李时珍继承家学，在长期的行医过程中，他发现以往的本草书有不少错误，于是立下了重修本草书的宏愿。在近３０年的时间，他三易其稿，完成了《本草纲目》这部药物学巨著的编定。

Advertisements

猜谜语有个小娃娃，真是没礼貌。见到小树摇一摇，吓得树叶哇哇叫。见到小花逗一逗，摘去她的太阳帽。没人和它交朋友，只好自已到外处跑。

早自修課推動班級家長說故事及經驗分享活動。寒假親師生戶外參訪 ~ 原鄉文化、田園野趣學習之旅 ~ 造訪鍾理和紀念館、文學步道。親師生戶外參訪.

手动换页域外风情系列儿子去美国留学，毕业后定居美国。还给我找了个洋媳妇苏珊。如今，小孙子托比已经 3 岁了。今年夏天，儿子为我申请了探亲签证。在美国待了三个月，洋媳妇苏珊教育孩子的方法，令我这个中国婆婆大开眼界。

海伦深深地感激自己的老师，她说：假如给我三天光明，我首先要长久地凝视我的老师 — — 安妮 · 莎莉文！

第七章获利能力分析. 第一节获利能力分析概述获利能力的内涵获利能力（盈利能力）是指企业获取利润的能力。评价方法： ①利润与销售收入之间的比率 ②利润与资产之间的比率.

99學年度第1學期導師輔導工作座談會全校性共同必修服務學習課程報告單位：學務處領導知能與服務學習中心.

月子保姆理论知识试卷.

黄帝内经内经教研室王黎.

4月2日是安徒生诞辰200周年纪念日，世界各国的读者以各种各样的方式怀念这位给儿童带来感动和快乐的童话巨人。

窦娥冤关汉卿感天动地元·关汉卿.

報告書名:父母會傷人班級:二技幼四甲姓名:吳婉如學號:1A2I0034 指導老師:高家斌

台北市立聯合醫院南軟門診部皮膚科醫師簡介溫素瑩醫師學經歷：中山醫學院醫學系畢業台北醫學大學醫學資訊研究所碩士

职官与科举职官：在国家机构中担任一定职务的官吏，这里面有职官的名称、职权范围和品级地位等方面的内容。

花开有日芬芳天下 “国培计划（2012）” ——幼儿园骨干教师远程培训项目山东幼儿园教师8班第4期简报主办人：张瑞美

皇帝的新装.

《卖火柴的小女孩》《海的女儿》你认识这些图片的故事吗《丑小鸭》《拇指姑娘》它们都来自于哪位作家笔下？

會計資訊系統專章A.

第三章調整與編表.

民主國家的政府體制我國的中央政府體制我國中央政府的功能地方政府組織與功能

媽，我們真的不一樣青少年期與中年期老師：趙品淳老師組員：胡珮玟4A1I0006 馬菀謙4A1I0040

品读论语之四---- 巧言令色非君子.

知其不可而为之.

中国画家协会理事、安徽省美术家协会会员、工艺美术师、黄山市邮协常务理事余承平主讲

銷售與顧客關係管理巫立宇．邱志聖　著.

20、豆花庄的小家伙们.

TALK ABOUT 数据挖掘-十大经典法 QianShi Li-Design

系統分析與設計系級：資管三B 姓名：朱秋儒學號：

防制學生藥物濫用高雄市教育局校外分會林永興教官.

班級：二幼三甲姓名：郭小瑄、詹淑評學號：1A2I0029 、1A2I0025

CH11 心理疾病李志鴻.

华夏之祖第 3 课.

法學緒論第六單元：法律適用設計課程︰財經法律系 --楊東連法學緒論-6.

指導老師:陳韻如姓名:吳宜珊學號:4A0I0911 班級:幼保二乙

汉字的构造.

诵读欣赏古代诗词三首.

古今异义漳州一中黄安娜.

一言之辩强于九鼎之宝三寸之舌胜于百万雄师

24最后一分钟武都区外纳中心小学梁晓玲乌鲁木齐县青格达湖中学方梦辉.

CH1 . 集合与命题.

傳統童玩遊戲創新組別：第八組班級：幼保二甲組員： 4A0I0005柯舒涵 4A0I0011謝孟真

現代文學導讀 ─ 盧新華傷痕組員：林于翔 4A1L0084

济南的冬天老　舍周至县辛家寨中学王菊文.

2009年初夏某天我一個人一輛車計劃沒有計劃只想漫無目的到處亂晃感覺夏天的散漫.

Ch19　創業精神管理學：整合觀點與創新思維3/e．中山大學企管系　著．前程文化　出版.

班級:夜師資一甲指導老師:蘇國榮老師姓名:929201林佑蓉石依縈李玉玫桂秀媛

以考试说明带动二轮复习福州第三中学张璐.

天净沙·秋思马致远枯藤老树昏鸭，小桥流水人家，古道西风瘦马。夕阳西下，断肠人在天涯。.

贴近教学服务师生方便老师.

六年级语文下册第四单元指尖的世界.

（浙教版）四年级品德与社会下册共同生活的世界第四单元世界之窗第二课时.

游子心中华情美国大华府地区华人华侨庆祝中国六十周年华诞.

跨越海峡的生命桥.

奇妙的克隆谈家桢.

与妻书林觉民.

常用資料採礦技術介紹關聯分組(associations)、分類(classification)、時序相關(sequence)、預測(forecasting)、群集化(clustering)以及描述等分析作業，目前常用的資料採礦技術有決策樹、類神經網路、基因演算法以及即時線上分析（OLAP）

小学语文二年级下册第一单元.

今天是几月？几日？.

飯店業的介紹.

Course 4 分類與預測 Classification and Prediction

選擇勞退新制，終身免煩惱勞工退休金新制說明會.

CH12-物流中心.

机器学习-贝叶斯学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

設計者：台中市重慶國小張祐榕.楊晟汶.張儷齡

2009年初夏某天我一個人一輛車計劃沒有計劃只想漫無目的到處亂晃感覺夏天的散漫按鍵換頁--輕音樂欣賞.

Xián 伯牙绝弦安徽淮南市八公山区第二小学　陈燕朵.

第四章買賣業會計.

績優教師分享美容保健科林品瑄教師.

Presentation transcript:

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏第2章概念学习和一般到特殊序 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏提纲概念学习给定某一类别的若干正例和反例，从中获得该类别的一般定义。搜索的观点在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合。利用假设空间的偏序结构算法收敛到正确假设的条件归纳学习的本质，从训练数据中泛化的理由 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏简介许多机器学习涉及到从特殊训练样例中得到一般概念。概念，可被看作一个对象或事件集合，它是从更大的集合中选取的子集，或在这个较大集合中定义的布尔函数。概念学习问题的定义给定一个样例集合以及每个样例是否属于某个概念的标注，怎样推断出该概念的一般定义。又称从样例中逼近布尔函数。概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏概念学习任务一个例子目标概念，Aldo进行水上运动的日子，表示为布尔函数EnjoySport 任务目的，基于某天的各属性，预测EnjoySport的值一个样例集，每个样例表示为属性的集合 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

概念学习任务（2）表2-1 目标概念EnjoySport的训练样例 Example Sky AirTemp Humidity Wind Water Forecast EnjoySport 1 Sunny Warm Normal Strong Warm Same Yes 2 Sunny Warm High Strong Warm Same Yes 3 Rainy Cold High Strong Warm Change Yes 4 Sunny Warm High Strong Cool Change Yes 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏概念学习任务（3）表示假设的形式一个简单的形式，实例的各属性约束的合取式令每个假设为6个约束（或变量）的向量，每个约束对应一个属性可取值范围，为？任意本属性可接受的值明确指定的属性值  不接受任何值假设的例子 <?, Cold, High, ?, ?, ?> <?, ?, ?, ?, ?, ?> // 所有的样例都是正例 < , , , , , > // 所有的样例都是反例 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏概念学习任务（4） EnjoySport概念学习任务已知实例集X 每个实例x由6个属性描述，每个属性的取值范围已确定假设集H 每个假设h描述为6个属性的取值约束的合取目标概念c 一个布尔函数，变量为实例训练样例集D 目标函数（或目标概念）的正例和反例求解 H中的一假设h，使对于X中任意x，h(x)=c(x) 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏术语定义实例x 实例集X 概念目标概念c 训练样例x 训练样例集D 正例，目标概念成员反例，非目标概念成员假设h 假设集H 机器学习的目标就是寻找一个假设h，使得对所有的h，都有h(x)=c(x) 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳学习假设什么是归纳学习？从特殊的样例得到普遍的规律归纳只能保证输出的假设能与训练样例相拟合归纳假设的一个基本假定对于未见实例最好的假设就是与训练数据最佳拟合的假设归纳学习假设任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏作为搜索的概念学习概念学习可以看作一个搜索的过程搜索范围：假设的表示所隐含定义的整个空间搜索目标：能够最好地拟合训练样例的假设当假设的表示形式选定后，那么就隐含地为学习算法确定了所有假设的空间例子EnjoySport的假设空间 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏假设的一般到特殊序假设的一般到特殊序关系考虑下面两个假设 h1=<sunny, ?, ?, Strong, ?, ?> h2=<Sunny, ?, ?, ?, ?, ?> 任何被h1划分为正例的实例都会被h2划分为正例，因此h2比h1更一般。利用这个关系，无需列举所有假设，就能在无限的假设空间中进行彻底的搜索 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏假设的一般到特殊序（2）关系“更一般”的精确定义任给实例x和假设h，说x满足h，当且仅当h(x)=1 令hj和hk是在X上定义的布尔函数，称hj比hk更一般，当且仅当(xX)[(hk(x)=1)(hj(x)=1)] 记为hj more_general_than_or_equal_to hk，或hj g hk 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏假设的一般到特殊序（3） “更一般”的严格情形 hj >g hk，当且仅当，(hj g hk) (hk g hj) “更特殊”关系的定义 hj g hk，当且仅当，hk g hj 以EnjoySport为例说明上面的定义偏序的特点（区别于全序），全序上的搜索可以是二分法，偏序的搜索比无序简单，比全序复杂。这个偏序关系的定义与目标概念无关 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 Find-S：寻找极大特殊假设使用more_general_than偏序的搜索算法从H中最特殊假设开始，然后在假设覆盖正例失败时将其一般化表2-3 Find-S算法将h初始化为H中最特殊假设对每个正例x 对h的每个属性约束ai 如果x满足ai 那么不做任何处理否则将h中ai替换为x满足的另一个更一般约束输出假设h 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 Find-S：寻找极大特殊假设（2） Find-S算法在例子EnjoySport上的应用 h<, , , , , > h<Sunny, Warm, Normal, Strong, Warm, Same> h<Sunny, Warm, ?, Strong, Warm, Same> 遇到反例，h不变（因为h已经能够正确地识别反例） h<Sunny, Warm, ?, Strong, ?, ?> 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏 Find-S：寻找极大特殊假设（3） Find-S算法演示了一种利用more_general_than偏序来搜索假设空间的方法，沿着偏序链，从较特殊的假设逐渐转移到较一般的假设。因此，每一步得到的假设都是在那一点上与训练样例一致的最特殊的假设。 Find-S的重要特点：对以属性约束的合取式描述的假设空间H，保证输出为H中与正例一致的最特殊的假设。存在的问题是否收敛到了正确的目标概念？为什么要用最特殊的假设？训练样例是否相互一致？如果有多个极大特殊假设怎么办？ 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法候选消除算法概说概念学习的另一种方法，候选消除算法（candidate-elimination） Find-S算法的不足，输出的假设只是H中能够拟合训练样例的多个假设中的一个候选消除算法输出与训练样例一致的所有假设的集合候选消除算法在描述这一集合时不需要明确列举所有成员利用more_general_than偏序结构，可以维护一个一致假设集合的简洁表示候选消除算法的应用，化学质谱分析、启发式搜索的控制规则候选消除算法的缺点，容错性能差 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法（2） “一致”的定义一个假设h与训练样例集合D一致，当且仅当对D中每一个样例<x,c(x)>都有h(x)=c(x)，即Consistent(h,D)(<x,c(x)>D)h(x)=c(x) “一致”与“满足”的关系变型空间（version space）与训练样例一致的所有假设组成的集合表示了目标概念的所有合理的变型关于H和D的变型空间，记为VSH,D，是H中与训练样例D一致的所有假设构成的子集VSH,D={hH|Consistent(h,D)} 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法（3）列表后消除算法表示变型空间的一种方法是列出其所有成员变型空间包含H中所有假设的列表对每个训练样例<x,c(x)>，从变型空间中移除所有h(x)c(x)的假设输出Version Space中的假设列表优点保证得到所有与训练数据一致的假设缺点非常繁琐地列出H中的所有假设，大多数实际的假设空间无法做到 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法（4）变型空间的更简洁表示变型空间被表示为它的极大一般和极大特殊的成员这些成员形成了一般和特殊边界的集合，这些边界在整个偏序结构中划分出变型空间以EnjoySport为例 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法（5）形式化定义极大一般极大特殊关于假设空间H和训练数据D的一般边界G，是在H中与D相一致的极大一般成员的集合关于假设空间H和训练数据D的特殊边界S，是在H中与D相一致的极大特殊成员的集合 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法（6）变型空间表示定理，令X为一任意的实例集合，H为X上定义的布尔假设的集合。令c: X{0,1}为X上定义的任一目标概念，并令D为任一训练样例集合{<x,c(x)>}。对所有的X, H, c, D以及良好定义的S和G： VSH,D={hH|(sS)( gG)(gghgs)} 证明：只需证明：1）每一个满足上式右边的h都在VSH,D中，2）VSH,D的每个成员都满足都满足等式右边。… 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法（7）候选消除算法初始化G和S 如果d是一个正例从G中移去所有与d不一致的假设对S中每个与d不一致的假设s 从S中移去s 把s的所有的极小泛化式h加入到S中，其中h满足 h与 d一致，而且G的某个成员比h更一般如果d是一个反例从S中移去所有与d不一致的假设对G中每个与d不一致的假设g 从G中移去g 把g的所有的极小特殊化式h加入到G中，其中h满足 h与d一致，而且S的某个成员比h更特殊从G中移去所有这样的假设：它比G中另一个假设更特殊 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除算法（8）算法举例 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除的说明候选消除算法收敛到正确的假设训练样例中没有错误 H中确实包含描述目标概念的正确假设如果样例中存在错误如果给定足够的训练数据，我们会发现S和G边界收敛得到一个空的变型空间如果目标概念不能由假设表示方式所描述相似情况出现 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除（2）下一步需要什么样的训练样例一般来说，概念学习的最优查询策略，是产生实例以满足当前变型空间中大约半数的假设。这样，变型空间的大小可以在遇到每个新样例时减半，正确的目标概念就可在只用log2|VS|次实验后得到。 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏变型空间和候选消除（3）怎样使用不完全学习概念虽然图2-3的变型空间中仍包含多个假设，即目标概念还未学习到，但是仍然有可能对新样例进行一定可信度的分类。表2-6的例子 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳偏置有关候选消除算法的几个问题如果目标概念不在假设空间中怎么办？是否可设计一个包含所有假设的空间来解决这一困难？假设空间的大小对于算法推广到未见实例的能力有什么影响？假设空间的大小对所需训练样例的数量有什么影响？ 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳偏置（2）一个有偏的假设空间在EnjoySport这个例子中，假设空间限制为只包含属性值的合取。（有偏）这一限制，导致假设空间不能够表示最简单的析取形式的目标概念。 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳偏置（3）无偏的学习器为了保证目标概念在假设空间中，需要提供一个假设空间，它能表达所有的可教授概念。换言之，它能表达实例集X的所有子集。问题：为什么2.3节中合取假设空间只能表示973个假设？ 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳偏置（4） EnjoySport的无偏形式带来的问题：概念学习算法无法从训练样例中泛化。要想获得单个目标概念，就必须提供X中所有实例作为训练样例使用2.6.3节讨论的部分学习的无效 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳偏置（5）无偏学习的无用性归纳学习的一个基本属性：学习器如果不对目标概念的形式做预先的假定，它从根本上无法对未见实例进行分类归纳学习需要的预先假定，称为归纳偏置 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳偏置（6）归纳偏置的精确定义 (Dcxi)L(xi,Dc) 需要在Dcxi上附加怎样的前提，以使L(xi,Dc) 能够演绎派生。 L的归纳偏置定义为前提集合B，使所有的新实例满足： (BDcxi)L(xi,Dc) 考虑对于实例集合X的概念学习算法L。令c为X上定义的任一概念，并令Dc为c的任意训练样例集合，L(xi,Dc) 表示经过Dc训练后L赋予实例xi的分类。L的归纳偏置是最小断言集合B，它使任意目标概念c和相应的训练样例Dc满足： xiX[(BDcxi)L(xi,Dc)] 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏归纳偏置（6）候选消除算法的归纳偏置 {cH} 3个有偏程度不同的归纳学习算法机械式候选消除算法 Find-S 一种算法的有偏性越强，它的归纳能力越强，可以分类更多的未见实例。某些归纳偏置隐含在学习器中，有些表示为断言集合，可由学习器操作。 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏小结主要内容概念学习可看作搜索预定义潜在假设空间的过程假设的一般到特殊偏序结构可以定义在任何概念学习问题中，这种结构便于假设空间的搜索 Find-S算法使用一般到特殊序，在偏序结构的一个分支上执行一般到特殊搜索，寻找一个与样例一致的最特殊假设候选消除算法利用一般到特殊序，通过渐进地计算极大特殊假设集合和极大一般假设集合发现变型空间候选消除算法缺少健壮性，第10章描述了几种基于一般到特殊序关系的概念学习算法，它们能够处理有噪声的数据和目标概念无法在假设空间中表示的情况归纳学习算法隐含了归纳偏置，候选消除算法的偏置是：目标概念可以在假设空间中找到。输出的假设和对新实例的分类可由归纳偏置和训练样例演绎推出 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏

机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏补充读物 Bruner et al.1957和Hunt & Hovland1963研究了概念学习以及一般到特殊的偏序 Winston1970的博士论文将概念学习看作是包含泛化和特殊化操作的搜索过程 Simon & Lea1973将学习的过程看作是在假设空间中搜索的过程 Mitchell1977, 1982提出变型空间和候选消除算法 Haussler1988证明，一般边界的大小随训练样例的数目成指数增长 Mitchell1979扩展了候选消除算法，以处理可预见的有限数量的误分类样例 Sebag1994, 1996展示了一种被称为析取变型空间的方法来从有噪声数据中学习析取概念 ... 2003.12.18 机器学习-概念学习作者：Mitchell 译者：曾华军等讲者：陶晓鹏