基本框架 输出： 情感分类 句子表示 向量化 输入：

Presentation on theme: "基本框架 输出： 情感分类 句子表示 向量化 输入： "— Presentation transcript:

1 基本框架 输出： 情感分类 句子表示 向量化 输入： 𝒘 𝟏 𝒘 𝟐 ⋯ 𝒘 𝒏

2 基本框架 输出： 情感分类 句子表示 第二部分内容 向量化 输入： 𝒘 𝟏 𝒘 𝟐 ⋯ 𝒘 𝒏

3 基本框架 输出： 𝒔𝒐𝒇𝒕𝒎𝒂𝒙(∙) 情感分类 句子表示 向量化 输入： 𝒘 𝟏 𝒘 𝟐 ⋯ 𝒘 𝒏

4 基本框架 输出： 情感分类 句子表示 向量化 输入： 𝒘 𝟏 𝒘 𝟐 ⋯ 𝒘 𝒏

5 句子表示 最简单的方式 Duyu Tang, Furu Wei, Nan Yang, Ming Zhou, Ting Liu, and Bing Qin. Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification. In Proceedings of ACL 2014.

6 句子表示 最基本的卷积神经网络(CNN) Ronan Collobert, Jason Weston, Leon Bottou, Michael Karlen, Koray Kavukcuoglu and Pavel Kuksa. Natural language processing (almost) from scratch. JMLR 2011.

7 句子表示 k-max pooling Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. A convolutional neural network for modelling sentences. In Proceedings of ACL 2014.

8 句子表示 动态k-max pooling Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. A convolutional neural network for modelling sentences. In Proceedings of ACL 2014.

9 句子表示 多层卷积神经网络(CNN) Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. A convolutional neural network for modelling sentences. In Proceedings of ACL 2014.

10 句子表示 多个CNN神经网络结构 Multi-channal Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom. A convolutional neural network for modelling sentences. In Proceedings of ACL 2014.

11 句子表示 多个CNN神经网络结构 Random, static, non-static, multi-channel Yoon Kim. Convolutional neural networks for sentence classification. In Proceedings of EMNLP 2014.

12 句子表示 多种输入词向量 Multiple embeddings, multi-channel, 多个不同大小的cnn filter; muter learning of word embeddings, auto encoder (利用context words和sentence representation预测当前word) Wenpeng Yin, and Hinrich Schütze. Multichannel variable-size convolution for sentence classification. In Proceedings of CONLL 2015.

13 句子表示 多种输入词向量 多种词向量，维度可以不一样，多个cnn，各自进行，结果concat, 另外优化是，不同的cnn使用不同的正则化因子 Ye Zhang, Stephen Roller, and Byron Wallace. Mgnc-cnn: A simple approach to exploiting multiple word embeddings for sentence classification. In Proceedings of NAACL 2016.

14 句子表示 字/词向量组合 Cícero Nogueira dos Santos, and Maira Gatti. Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts. In Proceedings of COLING 2014.

15 句子表示 非线性不连续的卷积方式 f1[i] = P 点乘 xi s1[i] = λ · s1[i − 1] + f1[i] f2[j] = s1[j − 1] 点乘 Q xj s2[j] = λ · s2[j − 1] + f2[j] f3[k] = s2[k − 1] 点乘 Rxk z[k] = trans(O) 点乘(f1[k] + f2[k] + f3[k]) Tao Lei, Regina Barzilay, and Tommi Jaakkola. Molding CNNs for text: non-linear, non-consecutive convolutions. In Proceedings of EMNLP 2015.

16 句子表示 循环神经网络(RNN) <s> w1 w2 w3 … wn-1 wn
Input layer <s> w w w … wn wn Xin Wang, Yuanchao Liu, Chengjie Sun, Baoxun Wang, and Xiaolong Wang. "Predicting polarities of tweets by composing word embeddings with long short-term memory In Proceedings of ACL 2015

17 句子表示 循环神经网络(RNN) Zhiyang Teng, Duy Tin Vo and Yue Zhang. Context-Sensitive Lexicon Features for Neural Sentiment Analysis. In Proceeddings of EMNLP 2016

18 句子表示 RNN+CNN Zhang, Rui and Lee, Honglak and Radev, Dragomir R. Dependency Sensitive Convolutional Neural Networks for Modeling Sentences and Documents. In Proceedings of NAACL2016

19 句子表示 递归神经网络(Recursive NN)
Han Zhao, Zhengdong Lu, and Pascal Poupart. Self-adaptive hierarchical sentence model. In Proceedings of IJCAI2015.

20 句子表示 递归神经网络(Recursive NN)
reduce the model complexity. Xinchi Chen, Xipeng Qiu, Chenxi Zhu, Shiyu Wu, and Xuanjing Huang. Sentence modeling with gated recursive neural network. In Proceedings of EMNLP2015.

21 句子表示 树结构信息？

22 句子表示 树结构信息？

23 句子表示 递归神经网络(Recursive NN) Matrix-Vector
Low rank 近似 A = UV + diag(a) Richard Socher, Brody Huval, Christopher D. Manning, and Andrew Y. Ng. Semantic compositionality through recursive matrix-vector spaces. In Proceedings of EMNLP2012.

24 句子表示 递归神经网络(Recursive NN) Tensor NN
5-class, Stanford parser； 标准的recursive nn, matrix-vector recursive nn, Recursive Neural Tensor Network Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of EMNLP2013.

25 句子表示 递归神经网络(Recursive NN) Adaptive Multi-Compositionality
多个组合方式，不同的词之间可以自动选择最优的组合方法。 Li Dong, Furu Wei, Ming Zhou, and Ke Xu. Adaptive Multi-Compositionality for Recursive Neural Models with Applications to Sentiment Analysis. In Proceedings of AAAI2014.

26 句子表示 递归神经网络(Recursive NN) 多个Recursive NN结构
区分leaf node和 internal node; 多层recursive，每一层的输入都是上一层的输出 Ozan Irsoy, and Claire Cardie. Deep recursive neural networks for compositionality in language. In Proceedings of NIPS2014.

27 句子表示 递归神经网络(Recursive NN) Tree-LSTM
Kai Sheng Tai, Richard Socher, and Christopher D. Manning. Improved semantic representations from tree-structured long short-term memory networks. In Proceedings of ACL2015. Xiaodan Zhu, Parinaz Sobhani, and Hongyu Guo. Long short-term memory over recursive structures. In Proceedings of ICML2015.

28 基于树的卷积(Tree- Convolution)
句子表示 基于树的卷积(Tree- Convolution) Pooling: global max poling （所有树中的节点表示一起pool）; 3-slot pooling for constituent tree (最顶上的几个pool在一个地方，然后其它根节点左边的一个slot, 右边的一个slog); k-slot pooling, for dependency tree 按node所处词语的位置 Lili Mou, Hao Peng, Ge Li, Yan Xu, Lu Zhang and Zhi Jin. Discriminative Neural Sentence Modeling by Tree-Based Convolution. In Proceedings of EMNLP2015. Mingbo Ma, Liang Huang, Bowen Zhou and Bing Xiang. Dependency-based convolutional neural networks for sentence embedding[C] In Proceedings of ACL2015.

29 句子表示 利用额外数据

30 句子表示 利用无标注数据 Sequential (Denoising) Autoencoders Encoder-decoder框架 噪声
以一定概率删除一个词 以一定概率交换相邻的两个词 FastSent 根据当前句子预测周围句子的词 也可以将autoencoder融入进去 Felix Hill, Kyunghyun Cho, Anna Korhonen. Learning Distributed Representations of Sentences from Unlabelled Data. In Proceedings of NAACL2016.

31 句子表示 利用上下文信息 Meishan Zhang, Yue Zhang, Guohong Fu. Tweet Sarcasm Detection Using Deep Neural Network. In Proceedings of COLING2016. Yafeng Ren, Yue Zhang, Meishan Zhang, Donghong Ji. Context-Sensitive Twitter Sentiment Classification Using Neural Network. In Proceedings of the AAAI2016.

32 Q/A? Thanks!

33 细粒度的情感分析 主要内容： 实体级别 属性级别 短语识别 立场检测

34 细粒度的情感分析 主要内容： 实体级别 属性级别 短语识别 立场检测

35 实体级别情感分析 + 我 非常 喜欢 这款 手环 ，功能 很 强大 。 - 食堂 的 饭 菜 真 是 难 以 下咽 。 0 我 明天 出发 去 武汉 旅游 。

36 实体级别情感分析 句法树结合Recursive NN
将所有和target相连接的word进行排序，首先将target的孩子节点排在前面，其它的按照词语在句子中顺序排位. Target的孩子节点放在右边，其它的放在左边 Li Dong, Furu Wei, Chuanqi Tan, Duyu Tang, Ming Zhou, and Ke Xu. Adaptive Recursive Neural Network for Target-dependent Twitter Sentiment Classification. In Proceedings of ACL2014.

37 实体级别情感分析 分段式的Pooling Duy-Tin Vo, and Yue Zhang. Target-dependent twitter sentiment classification with rich automatic features. In Proceedings of IJCAI2015.

38 实体级别情感分析 分段式的深度神经网络 Meishan Zhang, Yue Zhang, and Duy-Tin Vo. Gated Neural Networks for Targeted Sentiment Analysis. In Proceedings of AAAI2016.

39 实体级别情感分析 分段式的深度神经网络 Duyu Tang, Bing Qin, Xiaocheng Feng, and Ting Liu. Effective LSTMs for Target-Dependent Sentiment Classification. In Proceeding of COLING2016.

40 实体级别情感分析 开放领域实体分析 实体未指定
Pipeline； multi-task learning，同时预测两类标签；两类标签字符串连接。 Meishan Zhang, Yue Zhang, and Duy-Tin Vo. Neural networks for open domain targeted sentiment. In Proceedings of EMNLP2015.

41 细粒度的情感分析 主要内容： 实体级别 属性级别 短语识别 立场检测

42 属性级别情感分析 aspect-level (和target-level基本相似) 这 台 笔记本 屏幕 非常 不错 。 （屏幕， +）
这 台 笔记本 屏幕 非常 不错 。 （屏幕， +） 东北 饭馆 的 服务 态度 一直 让 人 诟病 。 （态度， -） 每个领域属性提前给定 n个属性，则2n分类问题

43 属性级别情感分析 递归神经网络 Matrix-Vector RNN (MV-RNN)
Himabindu Lakkaraju, Richard Socher, and Chris Manning. Aspect Specific Sentiment Analysis using Hierarchical Deep Learning. In Proceedings of NIPS WorkShop 2014.

44 属性级别情感分析 循环神经网络和递归神经网络 RNN， GRU, LSTM Recursive NN 比较和分析
Elliot Marx, and Zachary Yellin-Flaherty. Aspect Specific Sentiment Analysis of Unstructured Online Reviews.

45 属性级别情感分析 递归神经网络 假定Aspect在句子中的位置已经给定 短语结构句法树
Phrase dependency tree not constituent tree; 最终的树随着target的变化而变化 Thien Hai Nguyen and Kiyoaki Shirai. Phrasernn: Phrase recursive neural network for aspect-based sentiment analysis. In Proceedings of EMNLP2015.

46 属性级别情感分析 循环神经网络 Aspect词已经给定
Duyu Tang, Bing Qin, Ting Liu. Aspect Level Sentiment Classification with Deep Memory Network. In Proceedings of EMNLP2016.

47 属性级别情感分析 Aspect未知，如何自动发现 聚类问题
训练只是为了要模型参数； Distance metric为了计算相似度，然后判断是不是指一个aspect 正例构造，p1 = p2，但是context不同 负例构造， word net距离比较远的词 最终聚类时，只需要得到h2就可以了 Shufeng Xiong, Yue Zhang, Donghong Ji, and Yinxia Lou. Distance Metric Learning for Aspect Phrase Grouping. In Proceedings of COLING2016.

48 细粒度的情感分析 主要内容： 实体级别 属性级别 短语识别 立场检测

49 短语识别 情感表达式 他 和 那 些 人 的 态度 一样 ， 不 喜欢 这里 这么 嘈杂 的 氛围 。 情感持有者 情感对象

50 短语识别 序列标注模型 深度， 双向， 最基本的RNN 识别情感短语 Ozan Irsoy, and Claire Cardie. Opinion Mining with Deep Recurrent Neural Networks. In Proceedings of EMNLP2014.

51 短语识别 序列标注模型 SENNA Embeddings Google embeddings Amazon Embeddings
三种RNN, 隐层 for next hidden; output for next hidden; 以及 LSTM 识别aspect (target) Pengfei Liu, Shafiq Joty, and Helen Meng. Fine-grained opinion mining with recurrent neural networks and word embeddings. In Proceedings of EMNLP2015.

52 细粒度的情感分析 主要内容： 实体级别 属性级别 短语识别 立场检测

53 立场检测 主题：俄罗斯在叙利亚的反恐行动 俄罗斯总是被美国战略欺骗。 反对 俄罗斯将反恐进行到底! 支持

54 立场检测 卷积神经网络 分类，每一个主题训练一个模型； 上面是char cnn，下面是 word-level cnn Prashanth Vijayaraghavan, Ivan Sysoev, Soroush Vosoughi, and Deb Roy. DeepStance at SemEval-2016 Task 6: Detecting Stance in Tweets Using Character and Word-Level CNNs. In Proceedings of SemEval2016.

55 立场检测 循环神经网络 主题分类的方式 word2vec; word2phrase
每一个主题训练一个分类器 Zarrella G and Marsh A. MITRE. Transfer Learning for Stance Detection. In Proceedings of SemEval-2016.

56 立场检测 双向LSTM 两个双向LSTM网络， Target和Tweet分别 Augenstein I, Rocktäschel T, Vlachos A, and Bontcheva K. Stance Detection with Bidirectional Conditional Encoding. In Proceedings of EMNLP2016.

57 Q/A? Thanks!