机器人学说话: 深度学习和 信息距离理论 李明, 薄言董事长 宁波信息技术应用研究院首席科学家

Presentation on theme: "机器人学说话: 深度学习和 信息距离理论 李明, 薄言董事长 宁波信息技术应用研究院首席科学家"— Presentation transcript:

1 机器人学说话: 深度学习和 信息距离理论 李明, 薄言董事长 宁波信息技术应用研究院首席科学家
滑铁卢大学, University Professor 微信公众号: 薄言豆豆

2 ?

3 薄言超脑平台: 知识,对话,聊天

4 输入层 隐层 隐层 输出层 W1 . b1 W2 . b2 W3 . b3 Z1 Z2 Z3 Z4

5 “薄言超脑”的卷积神经网络（CNN）可以自动提取一句话中的语义要素，分辨对话的上下文和意图，从而给出更精准、符合语境的回答； “薄言超脑”的深度置信网络（DBN）通过分析对话，进行强化学习，调整对话逻辑，让自己变得更会说话。 如何在考试中得100分呢？ 80％努力 ＋20%运气 你要努力 楼主你好 学习一天后 学习一周后 学习一月后

6 “薄言超脑”的卷积神经网络（CNN）可以自动提取一句话中的语义要素，分辨对话的上下文和意图，从而给出更精准、符合语境的回答；
“薄言超脑”的深度置信网络（DBN）通过分析对话，进行强化学习，调整对话逻辑，让自己变得更会说话。

7 豆豆 怎么才能拥有幸福？ 幸福就在你身边哦～

8 “薄言超脑”会通过读书、看报，获取新的知识， 并通过和人脑相似的多层神经网络，归纳新的概念以及他们之间的联系。

9 第三方(中科院计算所)使用第四方独立数据集NLPCC’2015会议的1000个测试问题集。结果 如下： 聊天机器人 问题总数 答错／不会
正确回答 正确回答率 薄言豆豆 1000 391 609 60.9% 图灵机器人 576 424 42.4% 出门问问 855 145 14.5% 小i机器人 906 94 9.4% 微软小冰 936 64 6.4% 百度度秘 972 28 2.8% 说明： 数据来源: Nan Duan, Overview of the NLPCC 2015 Shared Task, Open Domain QA, NLPCC 2015 pp 本次测试结果的标注，每个测试对象都由3个人分别标注。 所有测试使用以上服务的微信公众号.

10 人类智能从语言开始. 人工智能革命也应从语言学习开始,
可是, 怎么学习说话呢? 打个比方: AlphaGo自己和自己下了3000万盘棋来改进 它的价值网络. 但是围棋是有输赢的, 某一步导致输棋反馈给价值网络. 但是说话呢? 哪句对哪句错呢? 人工反馈当然不靠谱.

11 薄言豆豆也和自己聊天学习. 但是聊天比下围棋要难一百倍 我们就只讲一个小侧面来解释豆豆的学习的理论基础: 即学习类似(相同语义的)问题.

12 这个是豆豆使用的LSTM来学习一对句子的”相似性”

13 但是什么是”相似性”或”语义距离” 我们如何反馈给这个RNN神经网络对/错呢? 语义距离根本不可计算 甚至连个正式定义都没有. 怎么办?

14 信息距离理论 (Bennett, Gacs, Li, Vitanyi, Zurek)
我们从物理学公理出发 经过严格的数学推理 给出一套完整可用的信息距离理论. 这个理论已经广泛为学术界接受使用.

15 Thermodynamics of Computing
Talk at U of Maryland Thermodynamics of Computing Heat Dissipation Input Compute Output Von Neumann, 1950 物理定律: 1kT is needed to (irreversibly) process 1 bit. Landauer

16 可逆计算不需要能量 A AND B A B A billiard ball computer. Input Output 1 1 A
Talk at U of Maryland 可逆计算不需要能量 A billiard ball computer. Input Output A AND B A 1 1 A billiard ball computer B AND NOT A A AND NOT B B A AND B

17 E(x,y) = smallest number of bits needed to
Talk at U of Maryland 转换 x, y 所需的能量: E(x,y) = smallest number of bits needed to convert reversibly between x and y. x p y Fundamental Theorem: E(x,y) = max{ K(x|y), K(y|x) } Bennett, Gacs, Li, Vitanyi, Zurek, STOC’93. IEEE Trans-IT 1998

18 Talk at U of Maryland Kolmogorov 复杂性 Invented in the 1960’s by Solomonoff, Kolmogorov, and Chaitin. Kolmogorov complexity of a string x condition on y, K(x|y), is the length of shortest program that given y prints x. K(x) = K(x|ε). Similar talk was given in Taiwan AAAC, 2011, April.

19 信息距离: 定理: 对任何其它距离 D’, 有常数C, 使得对任何 x, y, D(x,y) ≤ D’(x,y) + C
D(x,y) = max{K(x|y),K(y|x)} 定理: 对任何其它距离 D’, 有常数C, 使得对任何 x, y, D(x,y) ≤ D’(x,y) + C

20 用信息距离近似语义距离 信息距离 比这些都好 定义 传统可计算距离 语义距离 语义距离的任何 可计算近似版本

21 薄言豆豆平台的漂亮理论基础 这样我们从理论上解决了语义距离的不可定义性和不可计算性 对信息距离的近似: 压缩,编码
从理论上解决了聊天机器人加强学习对话的一个关键步骤. 人工智能的进步首先应该是理论的进步.

22 宁波薄言信息技术有限公司成立于 2013年。但是我们做豆豆平台已经10年.
创始人 李明博士 ，作为 现代信息理论 的奠基人之一，多年来从事生物信息学、自然语言处理、深度神经网络研究 。 10年来, 带领一批来自清华、北大、科学院, 中科大、滑铁卢大学等世界顶级院校的顶尖科学家和工程师，专注于 下一代人工智能技术 的研发。 将现代信息理论，深度神经网络和自然语言处理技术相互结合，并成功应用于 自动问答、语义理解、语句生成等领域 。

23 微信公众号: 薄言豆豆