人工智能 Artificial Intelligence 第十一章

人工智能 Artificial Intelligence 第十一章
互联网智能 Web Intelligence 史忠植中国科学院计算技术研究所 2017/3/17 史忠植人工智能：互联网智能

内容提要 11.1 概述 11.2 语义Web 11.3 本体知识管理 11.4 Web技术的演化 11.5 Web挖掘 11.6 搜索引擎
11.1 概述 11.2 语义Web 11.3 本体知识管理 11.4 Web技术的演化 11.5 Web挖掘 11.6 搜索引擎 11.7 集体智能 11.8 小结 2017/3/17 史忠植人工智能：互联网智能

概述因特网（internet），是网络与网络之间以一组通用的协定相连，形成逻辑上单一庞大、覆盖全世界的全球性互联网络。万维网（World Wide Web），是基于超文本相互链接而成的全球性系统，通过互联网访问。本章论述互联网智能主要是指基于万维网的智能技术，即“Web intelligence”,人们经常称作互联网智能。 2017/3/17 史忠植人工智能：互联网智能

概述 1962年美国美国国防部高级研究计划署的Licklider等提出通过网络将计算机互联起来的构想。1969年12月ARPANET 将美国西南部的加州大学洛杉矶分校、斯坦福大学研究学院、加州大学圣塔芭芭拉分校和犹他州大学的四台主要的计算机连接起来。到1970年6月，麻省理工学院、哈佛大学、BBN 和加州圣达莫尼卡系统发展公司加入进来。1972年对公众展示，并出现了。1983年ARPANET 完全转移到TCP/IP协议。1995年美国国家科学基金会组建的NSFNET与全球50000多个网络互联，互联网已经初具规模。 2017/3/17 史忠植人工智能：互联网智能

概述互联网从诞生到现在的50多年发展中，可以分为四个阶段，即计算机互联、网页互联、用户实时交互、语义互联。
2014年7月21日，中国互联网络信息中心（CNNIC）发布了《第34次中国互联网络发展状况统计报告》。截至2014年6月，我国网民规模达6.32亿，手机网民规模达5.27亿，域名总数为1915万个，网站总数为273万个。中国互联网已经形成规模，互联网应用走向多元化。 2017/3/17 史忠植人工智能：互联网智能

概述随着互联网的大规模应用，出现了各种各样基于互联网的计算模式。近几年来云计算 (cloud computing) 引起广泛的关注。云计算是分布式计算的一种范型，它强调在互联网上建立大规模数据中心等信息技术基础设施，通过面向服务的商业模式为各类用户提供基础设施能力。在用户看来，云计算提供了一种大规模的资源池，资源池管理的资源包括计算、存储、平台和服务等各种资源，资源池中的资源经过了抽象和虚拟化处理，并且是动态可扩展的。 2017/3/17 史忠植人工智能：互联网智能

语义Web Berners-Lee 于2000-12-18 在XML2000 的会议上正式提出了语义Web 。
语义Web 的目标是使得Web 上的信息具有计算机可以理解的语义，满足智能体(Agent) 对WWW 上异构和分布信息的有效访问和搜索。 Berners-Lee 为未来的Web 发展提出了基于语义的体系结构-语义Web 体系结构。该体系中从底层到高层分别为：UNICODE 和URI、XML 、 RDF、Ontology、Logic 、Proof、Trust 2017/3/17 史忠植人工智能：互联网智能

语义Web层次结构 Complexity could be a problem 2017/3/17 史忠植人工智能：互联网智能

第三层是RDF+rdfschema ，用于描述WEB上的资源及其类型、关系，为网上资源描述提供一种通用框架和实现数据集成的元数据解决方案；
第一层是UNICODE和URI，是整个语义WEB的基础，Unicode处理资源的编码，实现网上信息的统一编码，URI负责标识资源，支持语义网上的对象和资源的精细标识；第二层是XML+Name Space+xmlschema ，用于表示数据的内容和结构；通过XML标记语言将网上资源信息的结构、内容和数据的表现形式进行分离；第三层是RDF+rdfschema ，用于描述WEB上的资源及其类型、关系，为网上资源描述提供一种通用框架和实现数据集成的元数据解决方案；第四层是Ontology Vocabulary ，用于描述各种资源之间的联系，揭示资源本身及资源之间更为复杂和丰富的语义联系，明确定义描述属性或类的术语语义及术语间关系； 2017/3/17 史忠植人工智能：互联网智能

第五层是逻辑层。逻辑主要提供公理和推理规则，为智能推理提供基础。该层用来产生规则。
第六层是证明层，执行逻辑层产生的规则，并结合信任层的应用机制来评判是否能够信赖给定的证明。第七层是信任层。顶层的信任注重于提供信任机制，以保证用户代理Agent在网上进行个性化服务和彼此间交互合作时，更安全可靠。核心层为XML、RDF、ONTOLOGY，这3层用于表示Web信息的语义。 2017/3/17 史忠植人工智能：互联网智能

KMSphere Layers Knowledge Application Knowledge Distribution
Document File Image Video Web Ontology Acquisition Knowledge organization Knowledge Distribution Knowledge Application 2017/3/17 史忠植人工智能：互联网智能

KMSphere Architecture
2017/3/17 史忠植人工智能：互联网智能

KMSphere Workflow 2017/3/17 史忠植人工智能：互联网智能

Create ontology by hand
KMSphere Demo Create ontology by hand 2017/3/17 史忠植人工智能：互联网智能

Ontology acquisition from databases
KMSphere Demo Ontology acquisition from databases 2017/3/17 史忠植人工智能：互联网智能

Ontology acquisition from text
KMSphere Demo Ontology acquisition from text 2017/3/17 史忠植人工智能：互联网智能

KMSphere Demo Edit ontology 2017/3/17 史忠植人工智能：互联网智能

Ontology consistency check
KMSphere Demo Ontology consistency check 2017/3/17 史忠植人工智能：互联网智能

RDQL (RDF Data Query Language)
KMSphere Demo RDQL (RDF Data Query Language) 2017/3/17 史忠植人工智能：互联网智能

互联网发展路线图 Spivack 2008 2017/3/17 史忠植人工智能：互联网智能

Web发展路线图 Spivack 2008 2017/3/17 史忠植人工智能：互联网智能

Web1.0 2017/3/17 史忠植人工智能：互联网智能

Tim O’Reilly - Web 2.0 2017/3/17 史忠植人工智能：互联网智能

Web1.0 – Web2.0 – Web3.0 文件网 Web1.0: Web of documents 人际/社会网
Web2.0: Web of persons 数据网 Web3.0: Web of data (semantics) 2017/3/17 史忠植人工智能：互联网智能

Web挖掘分类 2017/3/17 史忠植人工智能：互联网智能
Web Mining research can be classified into three categories: Web content mining refers to the discovery of useful information from Web contents, including text, images, audio, video, etc. Web structure mining studies the model underlying the link structures of the Web. It has been used for search engine result ranking and other Web applications. Web usage mining focuses on using data mining techniques to analyze search logs to find interesting patterns.One of the main applications of Web usage mining is its use to learn user profiles. 2017/3/17 史忠植人工智能：互联网智能

Web挖掘分类 Web挖掘类项目 Web内容挖掘 Web结构挖掘 Web日志挖掘处理数据类型主要数据表示方法处理方法主要应用
IR方法：无结构数据、半结构数据 Web结构数据用户访问Web数据主要数据自由化文本、HTML标记的超文本 Web文档内及文档间的超链 Serverlog, Proxy serverlog, Client log 表示方法词集、段落、概念、IR的三种经典模型图关系表、图处理方法统计、机器学习、自然语言理解机器学习、专有算法统计、机器学习、关联规则主要应用分类、聚类、模式发现页面权重分类聚类模式发现 Web站点重建，商业决策 2017/3/17 史忠植人工智能：互联网智能

Web挖掘分类基于网页内容或其描述中抽取知识的过程。

日志的预处理 2017/3/17 史忠植人工智能：互联网智能 IP Address Time/Date Method/URI
Referrer Agent 15:30:01/2-Jan-01 GET Index.htm Mozilla/4.0(IE5.0W98) GET 1.htm GET A.htm 15:37:09/2-Jan-01 GET E.htm 15:33:04/2-Jan-01 Mozilla/4.0(IE4.0NT) 15:35:11/2-Jan-01 GET B.htm GET C.htm 2017/3/17 史忠植人工智能：互联网智能

Web文本挖掘 Web文本挖掘针对包括Web页面内容、页面结构和用户访问信息等在内的各种Web数据，应用数据挖掘方法发现有用的知识帮助人们从大量Web文档集中发现隐藏的模式。 2017/3/17 史忠植人工智能：互联网智能

Web文本挖掘的方法文本概括：从文本（集）中抽取关键信息，用简洁的形式总结文本（集）的主题内容。例如搜索引擎在向用户返回查询结果时，通常需要给出文本摘要。文本分类：把一些被标记的文本作为训练集，找到文本属性和文本类别之间的关系模型，然后利用这种关系模型判断新文本的类别。召回率和精度。文本聚类：根据文本的不同特征划分为不同的类。从大量文档中发现一对词语出现模式的关联分析以及特定数据在未来的情况预测。 2017/3/17 史忠植人工智能：互联网智能

Web文本挖掘的应用搜索引擎领域：利用Web文本挖掘可以更合理地组织搜索结果：按照页面之间的相似程度分为若干簇。

文本挖掘在垃圾邮件过滤中的应用 2017/3/17 史忠植人工智能：互联网智能

Web结构挖掘有用的知识不仅存在于Web页面间的链接结构和Web页面内部结构，而且也存在于URL中的目录路径结构（页面之间的目录结构关系）。 Web结构挖掘是指挖掘Web链接结构模式，即通过分析页面链接的数量和对象，从而建立Web的链接结构模式。 2017/3/17 史忠植人工智能：互联网智能

Web结构挖掘 PageRank算法? HITS （Hyperlink－Induced Topic Search）算法?
Google 查询的全过程通常不超过半秒时间，但在这短短的时间内需要完成多个步骤，然后才能将搜索结果交付给搜索信息的用户。 PageRank算法? HITS （Hyperlink－Induced Topic Search）算法? Google查询过程 2017/3/17 史忠植人工智能：互联网智能

Google的网页排序如何度量网页本身的重要性呢？
互联网上的每一篇html文档除了包含文本、图片、视频等信息外，还包含了大量的链接关系，利用这些链接关系，能够发现某些重要的网页直观地看，某网页A链向网页B，则可以认为网页A觉得网页B有链接价值，是比较重要的网页。某网页被指向的次数越多，则它的重要性越高；越是重要的网页，所链接的网页的重要性也越高。网页是节点，网页间的链接关系是边 A B 因此，除了基于相关性的排序外，还有一种基于重要性的排序，也被引入了搜索引擎中 2017/3/17 史忠植人工智能：互联网智能

Google的网页排序如何度量网页本身的重要性呢？
比如，新华网体育在其首页中对新浪体育做了链接，人民网体育同样在其首页中对新浪体育做了链接可见，新浪体育被链接的次数较多；同时，人民网体育和新华网体育也都是比较“重要”的网页，因此新浪体育也应该是比较“重要”的网页。网页A的重要性，应该等于所有链向A的网页的重要性除以该网页的链接数之后再求和新华网体育人民网体育 2017/3/17 史忠植人工智能：互联网智能

链向网页E的链接远远大于链向网页C的链接，但是网页C的重要性却大于网页E。这是因为因为网页C被网页B所链接，而网页B有很高的重要性。
Google的网页排序一个更加形象的图链向网页E的链接远远大于链向网页C的链接，但是网页C的重要性却大于网页E。这是因为因为网页C被网页B所链接，而网页B有很高的重要性。一个更加形象的图 2017/3/17 史忠植人工智能：互联网智能

Pagerank算法简介创始人：拉里佩奇(Larry Page ) —Google创始人之一应用：是Google用来衡量
一个网站的好坏的唯一标准。 2017/3/17 史忠植人工智能：互联网智能

Google的网页排序 PageRank的提出
Google的创始人之一Larry Page于1998年提出了PageRank，并应用在Google搜索引擎的检索结果排序上，该技术也是Google早期的核心技术之一 Larry Page是Google的创始首席执行官，2001年4月转任现职产品总裁。他目前仍与Eric Schmidt和Sergey Brin一起共同负责 Google的日常运作。他在斯坦福大学攻读计算机科学博士学位期间，遇到了Sergey Brin，他们于1998年合伙创立Google。基于以上的一些朴素的想法，Google的创始人Page提出了PageRank，并应用在Google搜索引擎的检索结果排序上，作为早期Google的核心技术之一 2017/3/17 史忠植人工智能：互联网智能

Pagerank算法相关概念 PR值：用来评价网页的重要性，PR值越大越重要，其级别从0到10级。一般PR值达到4，就算是一个不错的网站了。Google把自己的网站的PR值定到10，这说明Google这个网站是非常受欢迎的，也可以说这个网站非常重要。阻尼因数：(damping factor)其值为0.85 阻尼系数d定义为用户不断随机点击链接的概率，所以，它取决于点击的次数，被设定为0-1之间。d的值越高，继续点击链接的概率就越大。因此，用户停止点击并随机冲浪至另一页面的概率在式子中用常数(1-d)表示。无论入站链接如何，随机冲浪至一个页面的概率总是(1-d)。(1-d)本身也就是页面本身所具有的PageRank值。 2017/3/17 史忠植人工智能：互联网智能

Pagerank核心思想 PageRank通过网络浩瀚的超链接关系来确定一个页面的等级。Google把从A页面到B页面的链接解释为A页面给B页面投票，Google根据投票来源（甚至来源的来源，即链接到A页面的页面）和投票目标的等级来决定新的等级。这样，PageRank会根据网页B所收到的投票数量来评估该网页的重要性。此外，PageRank还会评估每个投票网页的重要性，因为某些重要网页的投票被认为具有较高的价值，这样，它所链接的网页就能获得较高的价值。这就是PageRank的核心思想，当然PageRank算法的实际实现上要复杂很多。 2017/3/17 史忠植人工智能：互联网智能

为什么要提出HITS算法？ PageRank算法中对于向外链接的权值贡献是平均的，也就是不考虑不同链接的重要性。而WEB的链接具有以下特征： 1.有些链接具有注释性，也有些链接是起导航或广告作用。有注释性的链接才用于权威判断。 2.基于商业或竞争因素考虑，很少有WEB网页指向其竞争领域的权威网页。 3.权威网页很少具有显式的描述，比如Google主页不会明确给出WEB搜索引擎之类的描述信息。可见平均的分布权值不符合链接的实际情况 2017/3/17 史忠植人工智能：互联网智能

HITS算法相关知识权威网页：一个网页被多次引用，则它可能是很重要的；一个网页虽然没有被多次引用，但是被重要的网页引用，则它也可能是很重要的；一个网页的重要性被平均的传递到它所引用的网页。这种网页称为权威（Authoritive）网页。中心网页：提供指向权威网页的链接集合的WEB网页，它本身可能并不重要，或者说没有几个网页指向它，但是它提供了指向就某个主题而言最为重要的站点的链接集合，比如一个课程主页上的推荐参考文献列表。在HITS算法中,对每个网页都要计算两个值:权威值(authority)与中心值(hub) 2017/3/17 史忠植人工智能：互联网智能

HITS算法介绍 HITS（Hyperlink－Induced Topic Search）是一种链接分析算法算法如下：
将查询q提交给传统的基于关键字匹配的搜索引擎．搜索引擎返回很多网页，从中取前n个网页作为根集合S(root set). 把根集合中的页面所指向的页面都包括进来,再把指向根集合中的页面的页面也包括进来,这样就扩充成了基础集合(base set)T. 2017/3/17 史忠植人工智能：互联网智能

HITS算法介绍顶点集V1 Hub网页顶点集V2 权威网页对V1中的任一个顶点v，用h(v)表示网页v的Hub值，对V2中的顶点u，用a(u)表示网页的Authority值，开始时h(v)＝a(u)＝1 边集E 超链接 2017/3/17 史忠植人工智能：互联网智能

HITS算法介绍在V中的每个页面p都有一对非负的权重值〈ap,hp〉,其中ap表示权威值,hp表示中心值
设指向页面p的页面为q,ap的值则更新为所有hq的和: 如果把页面p所指向的页面称为q,则hp的值更新为所有aq之和：这两步将被重复多次,最后按照得到的权威值和中心值对页面进行排序. 2017/3/17 史忠植人工智能：互联网智能

HITS算法的评价若一个网页由很多好的Hub指向，则其权威值会相应增加(即权威值增加为所有指向它的网页的现有Hub值之和)

Web结构挖掘的应用信息检索社区识别网站优化 2017/3/17 史忠植人工智能：互联网智能

搜索引擎大型互联网搜索引擎的数据中心一般运行数千台甚至数十万台计算机，而且每天向计算机集群里添加数十台机器，以保持与网络发展的同步。搜集机器自动搜集网页信息，平均速度每秒数十个网页，检索机器则提供容错的可缩放的体系架构以应对每天数千万甚至数亿的用户查询请求。企业搜索引擎可根据不同的应用规模，从单台计算机到计算机集群都可以进行部署 2017/3/17 史忠植人工智能：互联网智能

搜索引擎搜索引擎一般的工作过程是: 首先对互联网上的网页进行搜集，然后对搜集来的网页进行预处理，建立网页索引库，实时响应用户的查询请求，并对查找到的结果按某种规则进行排序后返回给用户。搜索引擎的重要功能是能够对互联网上的文本信息提供全文检索。 2017/3/17 史忠植人工智能：互联网智能

搜索引擎的工作流程 2017/3/17 史忠植人工智能：互联网智能

搜索引擎的系统架构 2017/3/17 史忠植人工智能：互联网智能

知识图谱图谱：是一个图像，以一定空间形式、在一定时间范围中展现变化的系统概念。
里程碑之一：2003年，美国科学院组织“知识图谱测绘”大会，标志着专家们对知识图谱绘制开始了大规模的深入研究。 2017/3/17 史忠植人工智能：互联网智能

知识图谱 2017/3/17 史忠植人工智能：互联网智能

语义Web关联数据使用语义网技术。在来自一个数据源的数据与其他数据源的数据之间的建立连接。 B C A D E Thing
typed links A D E 2017/3/17 史忠植人工智能：互联网智能

基于知识图谱的搜索引擎 2017/3/17 史忠植人工智能：互联网智能

集体智能集体智能（collective intelligence），有的称为集体智慧，有的称为群体智能，是一种共享的或者集体的智能，它是从许多个体的合作与竞争中涌现出来的，并没有集中的控制机制。集体智能在人类、计算机网络中形成，并以多种形式的协商一致的决策模式出现。集体智能的规模有大有小，可能有个体集体智能、人际集体智能、成组集体智能、活动集体智能、组织集体智能、网络集体智能、相邻集体智能、社团集体智能、城市集体智能、省级集体智能、国家集体智能、区域集体智能、国际组织集体智能、全人类集体智能等，这些都是在特定范围内的群体所反映出来的智慧。 2017/3/17 史忠植人工智能：互联网智能

“Cloud computing” Created in 4 Sept. 2007

Version in 4 Sept. 2008 2017/3/17 史忠植人工智能：互联网智能

Version in 14 Sept. 2009 2017/3/17 史忠植人工智能：互联网智能

社群智能社群智能（social and community intelligence）是从社会感知中挖掘和理解个人和群体活动模式、大规模人类活动和城市动态规律，把这些信息用于各种创新性的服务，包括社会关系管理、人类健康改善、公共安全维护、城市资源管理和环境资源保护等。社群智能是在社会计算、城市计算和现实世界挖掘等相关领域发展基础上提出来的。从宏观角度讲，它隶属于社会感知计算（socially-aware computing）范畴。社会感知计算是通过人类生活空间逐步大规模部署的多种类传感设备，实时感知识别社会个体行为，分析挖掘群体社会交互特征和规律，辅助个体社会行为，支持社群的互动、沟通和协作。 2017/3/17 史忠植人工智能：互联网智能

社群智能社群智能主要侧重于智能信息挖掘，具体功能包括：
（1）多数据源融合即要实现多个多模态、异构数据源的融合。综合利用三类数据源：互联网与万维网应用、静态传感设施、移动及可携带感知设备，来挖掘“智能”信息；（2）分层次智能信息提取利用数据挖掘和机器学习等技术从大规模感知数据中提取多层次的智能信息：在个体级别识别个人情境信息，在群体（Group）级别提取群体活动及人际交互信息，在社会级别挖掘人类行为模式、社会及城市动态变化规律等信息。 2017/3/17 史忠植人工智能：互联网智能

社群智能的体系架构 2017/3/17 史忠植人工智能：互联网智能

集体智能系统集体智能系统一般是复杂的大系统，甚至是复杂的巨系统。20世纪90年代钱学森提出了“开放的复杂巨系统(open complex giant systcn, OCGS)”的概念，并提出“从定性到定量的综合集成法”作为处理开放的复杂巨系统的方法论，着眼于人的智慧与计算机的高性能两者结合，以思维科学（认知科学)与人工智能为基础，用信息技术和网络技术构建“综合集成研讨厅（hall for workshop of metasynthetic engineering）的体系，以可操作平台的方式处理与开放的复杂巨系统相联系的复杂问题。随着互联网的广泛普及，这种综合集成研讨厅就可以是以互联网为基础的集体智能系统。 2017/3/17 史忠植人工智能：互联网智能

综合集成研讨厅框架结构示意图 2017/3/17 史忠植人工智能：互联网智能

集体智能系统 20世纪90年代以来，多智能体系统迅速发展，为构建大型复杂系统提供良好的技术途径。作者将智能体技术和网格结构有机结合起来，研制了智能体网格智能平台（agent grid intelligence platform, AGrIP）。AGrIP由底层集成平台MAGE，中间软件层和应用层构成。该软件创建协同工作环境，提供知识共享和互操作，成为开发大规模复杂的集成智能系统良好的工具。 2017/3/17 史忠植人工智能：互联网智能

智能体网格智能平台AGrIP 2017/3/17 史忠植人工智能：互联网智能

全球脑人脑是由神经网络（硬件）和心智系统（软件）构成的智能系统。互联网已成为人们共享全球信息的基础设施。在互联网的基础上通过全球心智模型(world wide mind，WWM) 就可实现全球脑（world wide brain, WWB）。全球心智模型WWM是由心智模型CAM和World Wide Web构成。心智模型CAM分为记忆、意识、高级认知行为三个层次。 2017/3/17 史忠植人工智能：互联网智能

全球心智模型WWM 2017/3/17 史忠植人工智能：互联网智能

小结 2015年3月5日，国家首次提出“互联网+”行动计划。“互联网+”代表一种新的经济形态，即充分发挥互联网在生产要素配置中的优化和集成作用，将互联网的创新成果深度融合于经济社会各领域之中，提升实体经济的创新力和生产力，形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。“互联网+”行动计划将重点促进以云计算、物联网、大数据为代表的新一代信息技术与现代制造业、生产性服务业等的融合创新，发展壮大新兴业态，打造新的产业增长点，为大众创业、万众创新提供环境，为产业智能化提供支撑，增强新的经济发展动力，促进国民经济提质增效升级。由此可见，互联网和大数据成为新一代信息技术的标志。 2017/3/17 史忠植人工智能：互联网智能

小结本章主要研究语义Web、本体知识管理、Web技术、Web挖掘、搜索引擎、集体智能等。语义Web技术的演化，依赖于人工智能的进展。
小结本章主要研究语义Web、本体知识管理、Web技术、Web挖掘、搜索引擎、集体智能等。语义Web技术的演化，依赖于人工智能的进展。互联网已经成为各类信息资源的聚集地，在这些海量的、异构的Web信息资源中，蕴含着具有巨大潜在价值的知识。Web挖掘能够从Web上快速、有效地发现知识、获取信息，有效地利用信息。构建互联网知识图谱和数据关联是是当前热门的研究课题。许多个体的合作与竞争中涌现出来的集体智能是互联网智能的特色。为了实现集体智能，需要开放、对等、共享以及全球行动 2017/3/17 史忠植人工智能：互联网智能

Thank You 人工智能 http://www.intsci.ac.cn/ 2017/3/17 史忠植人工智能：互联网智能 NN 1
10-00 Thank You 人工智能 2017/3/17 史忠植人工智能：互联网智能 Elene Marchiori

人工智能 Artificial Intelligence 第十一章

Similar presentations

Presentation on theme: "人工智能 Artificial Intelligence 第十一章"— Presentation transcript:

Similar presentations

About project

反馈

请登录

Auth with social network:

人工智能 Artificial Intelligence 第十一章

Similar presentations

Presentation on theme: "人工智能 Artificial Intelligence 第十一章"— Presentation transcript:

Similar presentations

About project

反馈