Download presentation
Presentation is loading. Please wait.
1
观点挖掘的研究初步 李智超 清华大学计算机科学与技术系 lizhichaoxyz@sohu.com Superplum@newsmth
2017年3月13日
2
引言 什么是观点挖掘 观点：人们对事物的看法，具有明显的主观性，不同人对同一事物的看法存在差异 挖掘：发现人们对事物的看法 主观：我是猪
客观：八戒是猪 挖掘：发现人们对事物的看法 2017/3/13 共46页
3
引言 为什么进行观点挖掘 个体用户对观点挖掘的需求 政府、产业界对观点挖掘的需求 互联网成为观点的重要载体 2017/3/13 共46页
4
引言 为什么进行观点挖掘 个体用户对观点挖掘的需求 政府、产业界对观点挖掘的需求 互联网成为观点的重要载体 2017/3/13 共46页
5
引言 为什么进行观点挖掘 个体用户对观点挖掘的需求 政府、产业界对观点挖掘的需求 互联网成为观点的重要载体 2017/3/13 共46页
6
引言 观点挖掘的相关学科 信息检索(应用) 主题相关的观点挖掘 计算语言学(基础) 汉语分词 词性标注 语法分析 模式识别(方法)
分类与聚类 2017/3/13 共46页
7
引言 观点挖掘的国际用语 观点挖掘 opinion mining 观点分析 opinion analysis
情感分类 sentiment classification 情感分析 sentiment analysis …… 2017/3/13 共46页
8
引言 观点挖掘任务 情感维度 主观性判断 主观：我是猪 客观：八戒是猪 2017/3/13 共46页
9
引言 观点挖掘任务 情感维度 倾向性判断 负面：我是猪 正面：我是神 2017/3/13 共46页
10
引言 观点挖掘任务 情感维度 强度判断 轻度：我弱了 重度：我脑残 2017/3/13 共46页
11
引言 观点挖掘任务 粒度维度 篇章级（目的） 句子级（目的） 词语级（手段，工具） 2017/3/13 共46页
12
词语级倾向性判断 两类方法 基于统计/学习的方法 基于规则的方法 更多情况是两种相结合使用 2017/3/13 共46页
13
词语级倾向性判断 Hatzivassiloglou, V. and McKeown, K. R. [1997] 判断形容词的感情倾向
以and或but等连词作为分类的依据将词语分为两类（规则） 包含词语较多的为正面倾向性（统计） 2017/3/13 共46页
![词语级倾向性判断 Hatzivassiloglou, V. and McKeown, K. R. [1997] 判断形容词的感情倾向](http://slidesplayer.com/slide/11417950/61/images/13/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Hatzivassiloglou%2C+V.+and+McKeown%2C+K.+R.+%5B1997%5D+%E5%88%A4%E6%96%AD%E5%BD%A2%E5%AE%B9%E8%AF%8D%E7%9A%84%E6%84%9F%E6%83%85%E5%80%BE%E5%90%91.jpg "以and或but等连词作为分类的依据将词语分为两类（规则） 包含词语较多的为正面倾向性（统计） 2017/3/13. 共46页.")
14
词语级倾向性判断 Turney, P. D. and Littman, M. L. [2003] 判断形容词的感情倾向
在连词的基础上，考虑了同现关系（统计） 2017/3/13 共46页
![词语级倾向性判断 Turney, P. D. and Littman, M. L. [2003] 判断形容词的感情倾向](http://slidesplayer.com/slide/11417950/61/images/14/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Turney%2C+P.+D.+and+Littman%2C+M.+L.+%5B2003%5D+%E5%88%A4%E6%96%AD%E5%BD%A2%E5%AE%B9%E8%AF%8D%E7%9A%84%E6%84%9F%E6%83%85%E5%80%BE%E5%90%91.jpg "在连词的基础上，考虑了同现关系（统计） 2017/3/13. 共46页.")
15
词语级倾向性判断 Hu, M. and Liu, B. [2004]
使用了已有的语言资源WordNet中的同义与反义的关系，来找出属于同义倾向性的词语，并分类（规则） 2017/3/13 共46页
![词语级倾向性判断 Hu, M. and Liu, B. [2004]](http://slidesplayer.com/slide/11417950/61/images/15/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Hu%2C+M.+and+Liu%2C+B.+%5B2004%5D.jpg "使用了已有的语言资源WordNet中的同义与反义的关系，来找出属于同义倾向性的词语，并分类（规则） 2017/3/13. 共46页.")
16
词语级倾向性判断 Esuli, A. and Sebastiani, F. [2005] SentiWordNet
不只对形容词进行倾向性判断 倾向性会有程度的区分 多义项词汇会有不同倾向性 2017/3/13 共46页
![词语级倾向性判断 Esuli, A. and Sebastiani, F. [2005] SentiWordNet](http://slidesplayer.com/slide/11417950/61/images/16/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Esuli%2C+A.+and+Sebastiani%2C+F.+%5B2005%5D+SentiWordNet.jpg "不只对形容词进行倾向性判断. 倾向性会有程度的区分. 多义项词汇会有不同倾向性. 2017/3/13. 共46页.")
17
词语级倾向性判断 一个问题：同一个词语在不同的语言环境中会有不同的倾向性。即词语不具有固定的倾向性。 价格太高了 它拥有很高的传输速度
2017/3/13 共46页
18
词语级倾向性判断 X. Ding, B. Liu, etc. [2008] 词典中只保留具有固定倾向性的词语
否则根据上下文判断其倾向性（规则） 2017/3/13 共46页
![词语级倾向性判断 X. Ding, B. Liu, etc. [2008] 词典中只保留具有固定倾向性的词语](http://slidesplayer.com/slide/11417950/61/images/18/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+X.+Ding%2C+B.+Liu%2C+etc.+%5B2008%5D+%E8%AF%8D%E5%85%B8%E4%B8%AD%E5%8F%AA%E4%BF%9D%E7%95%99%E5%85%B7%E6%9C%89%E5%9B%BA%E5%AE%9A%E5%80%BE%E5%90%91%E6%80%A7%E7%9A%84%E8%AF%8D%E8%AF%AD.jpg "否则根据上下文判断其倾向性（规则） 2017/3/13. 共46页.")
19
词语级倾向性判断 规则1 句内连词 规则2 句内无连词 规则3 句间关系 规则4 同反义词关系
具有明显并列关系(and)和转折关系(but) 他成绩优秀，并且写作水平高 他球踢的好，但是脾气大 规则2 句内无连词 认为默认为并列关系 屏幕鲜艳，待机时间长 规则3 句间关系 认为两句之间若无明显转折关系 则并列 规则4 同反义词关系 认为其同义词倾向性一致，反义词相反 2017/3/13 共46页
20
词语级倾向性判断 Zhuang L. [2007] 根据句子中的语法结构，将情感词和语言环境一起作为对象，判断倾向性。
语言环境：情感词所修饰的内容 价格太高了 它拥有很高的传输速度 属性词-情感词词对 2017/3/13 共46页
![词语级倾向性判断 Zhuang L. [2007] 根据句子中的语法结构，将情感词和语言环境一起作为对象，判断倾向性。](http://slidesplayer.com/slide/11417950/61/images/20/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Zhuang+L.+%5B2007%5D+%E6%A0%B9%E6%8D%AE%E5%8F%A5%E5%AD%90%E4%B8%AD%E7%9A%84%E8%AF%AD%E6%B3%95%E7%BB%93%E6%9E%84%EF%BC%8C%E5%B0%86%E6%83%85%E6%84%9F%E8%AF%8D%E5%92%8C%E8%AF%AD%E8%A8%80%E7%8E%AF%E5%A2%83%E4%B8%80%E8%B5%B7%E4%BD%9C%E4%B8%BA%E5%AF%B9%E8%B1%A1%EF%BC%8C%E5%88%A4%E6%96%AD%E5%80%BE%E5%90%91%E6%80%A7%E3%80%82.jpg "语言环境：情感词所修饰的内容. 价格太高了. 它拥有很高的传输速度. 属性词-情感词词对. 2017/3/13. 共46页.")
21
词语级倾向性判断 M. Hu and B. Liu [2004] 根据同现关系抽取抽取名词、名词词组作为属性词 再根据一些规则进行剪枝
2017/3/13 共46页
![词语级倾向性判断 M. Hu and B. Liu [2004] 根据同现关系抽取抽取名词、名词词组作为属性词 再根据一些规则进行剪枝](http://slidesplayer.com/slide/11417950/61/images/21/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+M.+Hu+and+B.+Liu+%5B2004%5D+%E6%A0%B9%E6%8D%AE%E5%90%8C%E7%8E%B0%E5%85%B3%E7%B3%BB%E6%8A%BD%E5%8F%96%E6%8A%BD%E5%8F%96%E5%90%8D%E8%AF%8D%E3%80%81%E5%90%8D%E8%AF%8D%E8%AF%8D%E7%BB%84%E4%BD%9C%E4%B8%BA%E5%B1%9E%E6%80%A7%E8%AF%8D+%E5%86%8D%E6%A0%B9%E6%8D%AE%E4%B8%80%E4%BA%9B%E8%A7%84%E5%88%99%E8%BF%9B%E8%A1%8C%E5%89%AA%E6%9E%9D.jpg "2017/3/13. 共46页.")
22
词语级倾向性判断 A. Popescu and O. Etzioni [2005]
使用KnowItAll系统，抽取名词和名词词组作为属性词（规则） 再通过属性词和特定领域的同现频率进行剪枝（统计） 2017/3/13 共46页
![词语级倾向性判断 A. Popescu and O. Etzioni [2005]](http://slidesplayer.com/slide/11417950/61/images/22/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+A.+Popescu+and+O.+Etzioni+%5B2005%5D.jpg "使用KnowItAll系统，抽取名词和名词词组作为属性词（规则） 再通过属性词和特定领域的同现频率进行剪枝（统计） 2017/3/13. 共46页.")
23
词语级倾向性判断 J. Yi and W. Niblack [2005]
通过识别以“the”引导并且后面跟随动词的词语或词语作为属性词，以提高准确率（规则） 2017/3/13 共46页
![词语级倾向性判断 J. Yi and W. Niblack [2005]](http://slidesplayer.com/slide/11417950/61/images/23/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+J.+Yi+and+W.+Niblack+%5B2005%5D.jpg "通过识别以 the 引导并且后面跟随动词的词语或词语作为属性词，以提高准确率（规则） 2017/3/13. 共46页.")
24
词语级倾向性判断 C. Scaffidi, K. Bierhoff [2007]
通过在同样规模下的随机文本中词语的分布和特定文本中分布的区别来剪枝（统计） 2017/3/13 共46页
![词语级倾向性判断 C. Scaffidi, K. Bierhoff [2007]](http://slidesplayer.com/slide/11417950/61/images/24/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+C.+Scaffidi%2C+K.+Bierhoff+%5B2007%5D.jpg "通过在同样规模下的随机文本中词语的分布和特定文本中分布的区别来剪枝（统计） 2017/3/13. 共46页.")
25
词语级倾向性判断 B. Wang and H. Wang [2007]
对词语在句子中的自然语言特征，判断是否为属性词，和情感词迭代进行。（学习） 2017/3/13 共46页
![词语级倾向性判断 B. Wang and H. Wang [2007]](http://slidesplayer.com/slide/11417950/61/images/25/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+B.+Wang+and+H.+Wang+%5B2007%5D.jpg "对词语在句子中的自然语言特征，判断是否为属性词，和情感词迭代进行。（学习） 2017/3/13. 共46页.")
26
词语级倾向性判断 Li Z. [2009] 抽取名词、动词、名词词组作为属性词，结合词语在句子中上下文的一些信息（规则）
根据词语在互联网集合中出现的频率和在特定文本中的频率的比较来进行剪枝（统计） 结合自然语言处理中未登录词的技术提高属性词抽取的Recall（统计） 2017/3/13 共46页
![词语级倾向性判断 Li Z. [2009] 抽取名词、动词、名词词组作为属性词，结合词语在句子中上下文的一些信息（规则）](http://slidesplayer.com/slide/11417950/61/images/26/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Li+Z.+%5B2009%5D+%E6%8A%BD%E5%8F%96%E5%90%8D%E8%AF%8D%E3%80%81%E5%8A%A8%E8%AF%8D%E3%80%81%E5%90%8D%E8%AF%8D%E8%AF%8D%E7%BB%84%E4%BD%9C%E4%B8%BA%E5%B1%9E%E6%80%A7%E8%AF%8D%EF%BC%8C%E7%BB%93%E5%90%88%E8%AF%8D%E8%AF%AD%E5%9C%A8%E5%8F%A5%E5%AD%90%E4%B8%AD%E4%B8%8A%E4%B8%8B%E6%96%87%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BF%A1%E6%81%AF%EF%BC%88%E8%A7%84%E5%88%99%EF%BC%89.jpg "根据词语在互联网集合中出现的频率和在特定文本中的频率的比较来进行剪枝（统计） 结合自然语言处理中未登录词的技术提高属性词抽取的Recall（统计） 2017/3/13. 共46页.")
27
词语级倾向性判断 Li Z. [2009] 抽取名词、动词、名词词组作为属性词，结合词语在句子中上下文的一些信息（规则） 2017/3/13
共46页
![词语级倾向性判断 Li Z. [2009] 抽取名词、动词、名词词组作为属性词，结合词语在句子中上下文的一些信息（规则） 2017/3/13](http://slidesplayer.com/slide/11417950/61/images/27/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Li+Z.+%5B2009%5D+%E6%8A%BD%E5%8F%96%E5%90%8D%E8%AF%8D%E3%80%81%E5%8A%A8%E8%AF%8D%E3%80%81%E5%90%8D%E8%AF%8D%E8%AF%8D%E7%BB%84%E4%BD%9C%E4%B8%BA%E5%B1%9E%E6%80%A7%E8%AF%8D%EF%BC%8C%E7%BB%93%E5%90%88%E8%AF%8D%E8%AF%AD%E5%9C%A8%E5%8F%A5%E5%AD%90%E4%B8%AD%E4%B8%8A%E4%B8%8B%E6%96%87%E7%9A%84%E4%B8%80%E4%BA%9B%E4%BF%A1%E6%81%AF%EF%BC%88%E8%A7%84%E5%88%99%EF%BC%89+2017%2F3%2F13.jpg "共46页.")
28
词语级倾向性判断 Li Z. [2009] 根据词语在互联网集合中出现的频率和在特定文本中的频率的比较来进行剪枝（统计） 生活 杂音
2017/3/13 共46页
![词语级倾向性判断 Li Z. [2009] 根据词语在互联网集合中出现的频率和在特定文本中的频率的比较来进行剪枝（统计） 生活 杂音](http://slidesplayer.com/slide/11417950/61/images/28/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Li+Z.+%5B2009%5D+%E6%A0%B9%E6%8D%AE%E8%AF%8D%E8%AF%AD%E5%9C%A8%E4%BA%92%E8%81%94%E7%BD%91%E9%9B%86%E5%90%88%E4%B8%AD%E5%87%BA%E7%8E%B0%E7%9A%84%E9%A2%91%E7%8E%87%E5%92%8C%E5%9C%A8%E7%89%B9%E5%AE%9A%E6%96%87%E6%9C%AC%E4%B8%AD%E7%9A%84%E9%A2%91%E7%8E%87%E7%9A%84%E6%AF%94%E8%BE%83%E6%9D%A5%E8%BF%9B%E8%A1%8C%E5%89%AA%E6%9E%9D%EF%BC%88%E7%BB%9F%E8%AE%A1%EF%BC%89+%E7%94%9F%E6%B4%BB+%E6%9D%82%E9%9F%B3.jpg "2017/3/13. 共46页.")
29
词语级倾向性判断 Li Z. [2009] 结合自然语言处理中未登录词的技术提高属性词抽取的Recall（统计） 2017/3/13
共46页
![词语级倾向性判断 Li Z. [2009] 结合自然语言处理中未登录词的技术提高属性词抽取的Recall（统计） 2017/3/13](http://slidesplayer.com/slide/11417950/61/images/29/%E8%AF%8D%E8%AF%AD%E7%BA%A7%E5%80%BE%E5%90%91%E6%80%A7%E5%88%A4%E6%96%AD+Li+Z.+%5B2009%5D+%E7%BB%93%E5%90%88%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E4%B8%AD%E6%9C%AA%E7%99%BB%E5%BD%95%E8%AF%8D%E7%9A%84%E6%8A%80%E6%9C%AF%E6%8F%90%E9%AB%98%E5%B1%9E%E6%80%A7%E8%AF%8D%E6%8A%BD%E5%8F%96%E7%9A%84Recall%EF%BC%88%E7%BB%9F%E8%AE%A1%EF%BC%89+2017%2F3%2F13.jpg "共46页.")
30
词语级倾向性判断 词语规模： 形容词->所有词性 习惯用语、常用搭配…… 词语结构： 单一词语->和属性词结合
隐含场景、上下文…… 2017/3/13 共46页
31
篇章级倾向性判断 主要是主观性的判断 机器学习的方法 文本分类 检索的方法 BLOG TREC 将情感词作为查询 2017/3/13
共46页
32
观点挖掘的应用 产品类观点挖掘 事件类观点挖掘 观点复杂多样 新词日新月异 2017/3/13 共46页
33
观点挖掘的应用 产品类观点挖掘 事件类观点挖掘 更加复杂多样 2017/3/13 共46页
34
谢谢！ thanks! 2017/3/13 共46页
Similar presentations
