NLP&CC 2013 跨语言情感分类评测 万小军 北京大学计算机科学技术研究所.

Presentation on theme: "NLP&CC 2013 跨语言情感分类评测 万小军 北京大学计算机科学技术研究所."— Presentation transcript:

1 NLP&CC 2013 跨语言情感分类评测 万小军 北京大学计算机科学技术研究所

2 评测背景 情感分类随着网络评论的海量增长受到人们越 来越多的重视。
情感分类随着网络评论的海量增长受到人们越 来越多的重视。 情感分类系统通常依赖于标注语料并结合分类 算法来实现。然而，情感标注语料的分布在不 同语言下是极不均衡的。 因此在当前语言的标注语料缺乏时，利用其他 语言的资源来实现情感分类已经成为了一个热 门的研究课题。

3 评测任务介绍 本任务要求参赛队伍在仅利用组织方提供 的资源的前提下，对测试集内的每条中文 评论进行倾向性分类（正面和负面）。 评测资源包括：
英文标注数据 少量中文标注数据 英文情感词典 中文未标注语料

4 评测数据 英文标注数据 英文标注数据为 Amazon.com 的用户评论，共包含 3 个不同领域：DVD，书籍，音乐。每个领域内有 2000 条正面评价和 2000 条负面评价。 英文情感词典 提供 MPQA 情感词典(Multi-Perspective Question Answering Subjectivity Lexicon)，共包含 2789 个正向词和 6079 个负向词。

5 评测数据 中文标注数据(验证数据) 中文未标注数据 提供包含 DVD，书籍，音乐三个领域的少量中文标注数据，正负例各 20条。

6 评测数据 测试数据 来自Amazon.cn的用户评论，DVD，书籍和音乐每个领域均包含 4000 条测试评论，其中正负向评论均为 2000 条。

7 参赛情况 本次评测共有7所单位参与，提交10组结果。

8 评测结果 评价指标 本任务使用准确率(Accuracy)作为评价指标。 
其中#system_correct 表示分类准确的评论数，system_ total 表示测试集内全部评论数。 由于测试数据中三个领域的评论数目相同，因此不区分 宏平均和微平均结果。

9 评测结果 本次评测中有四队伍的准确率达到70%以上，最高结果为77%。（表格中为每单位最好结果） 单位编号 Dvd Accuracy
Music Accuracy Book Average Accuracy 1 0.4805 0.5030 0.4978 0.4938 2 0.6473 0.6605 0.5980 0.6353 3 0.5430 0.5295 0.5893 0.5539 4 0.7773 0.7513 0.7850 0.7712 5 0.7390 0.7325 0.7423 0.7379 6 0.7720 0.7453 0.7240 0.7471 7 0.7833 0.7595 0.7700 0.7709

10 论文录用情况 本次评测中有以下两篇论文被NLP&CC 2013分别录用为Oral和Poster论文
Gui Lin, Xu Ruifeng, Xu Jun, Yuan Li, Yao Yuanlin and Zhou Jiyun. 基于混合模型的跨语言情感分析方法.哈尔滨工业大学深圳研究生院智能计算中心 炎祥 何, 续乐 刘, 强 陈, 松涛 孙 and 菲菲 牛. 基于句法分析的跨语言情感分析. 武汉大学计算机学院

11 探讨与展望 如何有效利用中文未标注数据？ 如何综合利用英文词典与英文标注语料？ 跨语言情感分类方法中的领域适应问题？
针对不同语言迁移时方法的鲁棒性？

12 Q&A 谢谢！ 我的报告到此结束，谢谢各位。