学 生:王莉峰 指导老师:秦 兵 老师 日 期:2009-6-7 基于有指导的音乐实体关系抽取 学 生:王莉峰 指导老师:秦 兵 老师 日 期:2009-6-7
提纲 课题简介 主要研究内容 研究方法和实施方案 下一步工作
提纲 课题简介 主要研究内容 研究方法和实施方案 下一步工作 什么是信息抽取? 什么是音乐实体类型? 什么是音乐实体关系抽取? 为什么选择音乐领域? 主要研究内容 研究方法和实施方案 下一步工作
信息抽取: 将非结构化文本转换成 结构化数据,主要包括 实体识别、关系抽取、 共指消解等 知识数据库 吉林大学 它 东北行政学院 机构成立时间 吉林大学坐落在北国春城 -长春市,它创立于1946年,前身为东北行政学院,是教育部直属的一所全国重点综合性大学。 吉林大学坐落在北国春城 -长春市,它创立于1946年,前身为东北行政学院,是教育部直属的一所全国重点综合性大学。 信息抽取: 将非结构化文本转换成 结构化数据,主要包括 实体识别、关系抽取、 共指消解等 位置 关系 1946年 附属关系 北国春城 长春市 教育部 关系表 ID Subsidiary Org Time Place 1 吉林大学 教育部 1946年 长春市 … 知识数据库 … …
(分词、词性标注、命名实体识别、依存句法分析、词义消歧、语义角色标注等) 互联网 用户 文档 垂直搜索 精准化搜索 采集信息 提问、log 结构化数据 答案 非结构化数据 基于NLP的IR 问答系统 智能化搜索 信息抽取 细粒度挖掘 理解用户 智能交互 理解文档 抽取信息 结构化数据 理解语言 面向IR的NLP: (分词、词性标注、命名实体识别、依存句法分析、词义消歧、语义角色标注等)
什么是音乐实体类型? 命名实体(Named Entity, NE) 音乐命名实体(Music Named Entity, MNE) 实体名:人名、地名、机构名、专有名词、时间等 例子:在2008年11月7日吉林大学召开的全校干部大会上,任命原山东大学校长展涛为吉林大学校长。 音乐命名实体(Music Named Entity, MNE) 艺术家名、艺术家别名、歌曲名、专辑名、唱片公司名、时间 例子:亚洲天王周杰伦发行第六张国语专辑《十一月的萧邦》,新专辑包含了《夜曲》、《发如雪》等十二首动听的歌,大家可以在专辑当中,嗅出周董潜藏的浪漫古典因子。
什么是音乐实体关系抽取? 在音乐实体识别的基础上,判断一个句子中任意两个实体是否属于我们预先定义好的某种关系。 例子:08年12月,蔡依林3000万改签华纳唱片。
为什么选择音乐领域? 通用域的难点 领域收缩:乐坛、电子产品、教育、体育等 没有完善的关系类型体系 建立关系类型体系困难 关系类型太多 关系如何命名呢? 覆盖面要尽可能全 细化、准确… … 领域收缩:乐坛、电子产品、教育、体育等 研究方法可移植,也是某种意义上的通用域
提纲 课题简介 主要研究内容 研究方法和实施方案 下一步工作
主要研究内容 音乐实体关系抽取 基于有指导的学习方法 分类模型 训练 建立音乐实体关系类型体系 构建语料库 特征提取
提纲 课题简介 主要研究内容 研究方法和实施方案 语料库建设 特征提取 模型训练 评测 下一步工作
语料库建设 来源:新浪音乐新闻(2008.8-2009.3) 处理流程 … 断句 分词、 词性标注、 音乐实体 识别 随机筛选 10000句 作为待标 注语料 制定标 注规范、 人工标 注语料 句子 音乐实体 关系抽取 语料库 新闻文本 句子 … 句子
音乐实体关系抽取技术介绍 训练过程 识别过程 训练数据 (2/3) SVM训练/ MaxEnt训练 SVM模型/ MaxEnt模型 特征提取 语料库 随机筛选 实验数据 测试数据 (1/3) SVM分类/ MaxEnt分类 识别结果
训练过程-特征提取 输入:训练语料&词法句法信息 输出:特征文件 例如:在/p 北京/ns 奥运会/j 开幕式/n 上/nd ,/wp 刘欢/Na 和/c 莎拉布莱曼/Na 共同/d 演绎/v 了/u 主题歌/n 《我和你》/Nc 。/wp 特征提取器 实体1的类型 实体2的类型 实体1和实体2之间的第一个动词 实体1前面的第一个词 实体2后面的第一个词 实体1前面第一个词的词性 实体2后面第一个词的词性 … … class F1 F2 F3 F4 F5 F6 F7 … 艺术家-歌曲 Na Nc 演绎 和 。 c wp
训练过程-SVM or MaxEnt 输入:特征文件 输出:分类模型文件 开源的SVM工具包:Libsvm 2.89 http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 开源的MaxEnt工具包:OpenNLP.maxent http://opennlp.sourceforge.net/
识别过程-特征提取 测试数据特征提取与训练数据特征提取过程类似 区别 特征文件中无类别信息 class F1 F2 F3 F4 F5 F6 … ? Na Nc 演绎 和 。 c wp
识别过程-SVM or MaxEnt分类 输入:特征文件 输出:类别编号 class F1 F2 F3 F4 F5 F6 F7 … ? Na Nc 演绎 和 。 c wp Relation Type Prob 艺术家-歌曲 0.75 艺术家-专辑 0.13 歌曲-专辑 0.05 艺术家-唱片公司 0.02 专辑-发行时间 0.01 无关系 0.04
评测方法与结果 评测指标为准确率(P)、召回率(R)和F值
评测方法与结果
大纲 课题简介 主要研究内容 研究方法和实施方案 下一步工作
下一步工作 目前只处理了5种最常见的音乐实体关系 特征提取优化 存在代词,需要共指消解模块处理 句子级关系抽取->篇章级关系抽取 歌曲-专辑效果较低 核函数方法 存在代词,需要共指消解模块处理 句子级关系抽取->篇章级关系抽取 … …
谢谢各位老师!