豆瓣算法工程师 曾俊瑀 douban id : knighter

Presentation on theme: "豆瓣算法工程师 曾俊瑀 douban id : knighter"— Presentation transcript:

1 豆瓣算法工程师 曾俊瑀 junyu.zeng@gmail.com douban id : knighter 2013.10.26
NLP在豆瓣标签系统 的应用 豆瓣算法工程师 曾俊瑀 douban id : knighter

2 什么是标签 标签的作用 标签的提取 标签的整合 总结与思考

3 什么是标签 标签的作用 标签的提取 标签的整合 总结与思考

4 什么是标签 用户视角

5 什么是标签 系统视角

6 什么是标签 一个有意义的片断 文本长度和信息量的平衡 具有信息量 可被用户理解和使用 相对独立的语法成分：词或短语
以简要的方式反映较多的内容 由使用和展示方式决定

7 什么是标签 标签的作用 标签的提取 标签的整合 标签的特点

8 标签的作用 标签预测 用户画像 标签推荐 热点发现

9 什么是标签 标签的作用 标签的提取 标签的整合 总结与思考

10 标签的提取 标题 导演 主演 类型 别名 剧情简介

11 标签的提取 小组标题 小组帖子 小组简介

12 标签的提取 词库构建 原始文本 中文分词 词性标注 标签集 标签选择

13 标签的提取 条目元信息 外部资源 维基百科/维基字典 词库构建 生成候选词 内部词库 词的独立性

14 标签的提取 词库构建 外部资源 元信息词列表 维基百科 维基字典 书名，电影名，出版社，作者，译者，歌手，演员，导演 文本中的实体词
维基百科中不包含的形容词等

15 标签的提取 词库构建 内部词库 使用N-gram生成候选词 计算词的内部独立性 计算词的外部独立性 我在豆瓣工作 在豆，瓣工，豆瓣工
豆瓣，工作 计算词的内部独立性 P(豆瓣) >> P(豆)*P(瓣) 计算词的外部独立性

16 示例 溶咖 陈奕 豆瓣电 个么 吗的 我人 人个 速溶咖 百事可 贝叶 大我 有是 的里 求的 曼哈 农夫山 潘多 的为 个已 我哪 我租
个么 吗的 我人 人个 大我 有是 的里 求的 的为 个已 我哪 我租 溶咖 陈奕 豆瓣电 速溶咖  百事可  贝叶 曼哈 农夫山   潘多 国际主 瓣电  邻广 桎梏 揶揄 蹒跚 缱绻 袈裟 徜徉 纨绔 憔悴 邯郸 霹雳 璀璨 骷髅 陈奕迅 速溶咖啡  豆瓣电台   百事可乐 贝叶斯         曼哈顿  农夫山泉      潘多拉

17 标签的提取 词库构建的优点 无监督/半监督 词典的准确率较高 可以发现新词 符合豆瓣语料的词频分布

18 标签的提取 中文分词 词性标注 规则+匹配 条件随机场 用词性筛除无实意的候选词 实词：含有实际意义的词语
虚词：没有完整的词汇意义，但有语法功能 名词、动词、形容词 > 副词、代词

19 标签的提取 标签选择 UGC标签的词频特征 被用户标注过的次数 使用过该标签的用户数 该标签所属的条目数

20 标签的提取 标签选择 TF/IDF TextRank 主题模型 类似于PageRank 基于图的排序算法 使用窗口内共现作为link
精度更高但较为费时

21 什么是标签 标签的作用 标签的提取 标签的整合 总结与思考

22 标签的整合 合并同义词 <我的奋斗> 豆瓣日志 豆瓣小组 罗永浩 -- 老罗 -- 罗胖子 拉丁文 -- 拉丁语
夏代 -- 夏朝 豆瓣小组 男盆友 -- 男朋友 -- 蓝盆友 ⓾ -- ➉ -- ➓ -- 10

23 标签的整合 合并同义词 实体链接（Entity Linking） 相似度计算 外部资源（维基百科等） 词共现 其他方法
DNN：word2vec

24 标签的整合 标签分类 电影类型：剧情 动作 爱情 科幻 动画 悬疑 惊悚 地区：美国 香港 台湾 日本 韩国 英国 法国
电影类型：剧情 动作 爱情 科幻 动画 悬疑 惊悚  地区：美国 香港 台湾 日本 韩国 英国 法国  科技：互联网 科普 科学 交互 设计 通信

25 标签的整合 标签分类的方法 词性标注 外部资源 人工工作

26 标签的整合 构建标签树 扁平结构 -> 层次结构 全局的标签树不依赖于具体的信息源 有助于跨类别的推荐

27 什么是标签 标签的作用 标签的提取 标签的整合 总结与思考

28 什么是标签 标签的作用 标签的提取 标签的整合 总结与思考

29 总结与思考 标签 vs 分类 multi-label与multi-class 区别： 标签预测也可以当做多分类问题来解决
可以为一个对象分配多个标签，而只归于一类 实际应用中：类别是固定的，需要的训练数据更规范 标签预测也可以当做多分类问题来解决 类别不均衡 类的个数过多 新的类别不好处理

30 总结与思考 标签 vs 文本摘要 文本摘要 都是文本长度与信息量的平衡 面向的对象都可以是人(用户) 以自然语言的句子为基本单位
句子合成方法不够成熟 使用和展示的方式有限 用户不大可能写摘要 都是文本长度与信息量的平衡 面向的对象都可以是人(用户)

31 总结与思考 标签 vs 隐层特征 都可以用于推荐 白盒 vs 黑盒 隐层特征(Latent Factor)： 可以用标签生成
面向的对象是机器：不具有直接的可解释性 性能可能有提升 维度、计算量

32 标签选择 特征 分类 标签树 文本摘要 标签 词共现 自然语言处理 中文分词 同义词 词性标注 词库构建 外部资源 维基百科

33 讨论 非结构化文本信息的挖掘——让机器“理解”文本
随着互联网的发展，互联网上的文本信息成为了知识获取（维基百科），信息获取（新闻网站）和传播（SNS）的重要途径，而其中大部分都是非结构化的文本信息。 为了让机器“理解”文本，需要对互联网中海量的非结构化文本信息进行挖掘，欢迎大家一起讨论非结构化文本挖掘的各项技术，例如网页信息抽取，短文本处理，关系抽取，实体识别等等。

34 谢谢！