Download presentation
Presentation is loading. Please wait.
Published by异恒 鲁 Modified 7年之前
1
黄昌宁 微软亚洲研究院 cnhuang@msrchina.research.microsoft.com
消歧需要词例知识 黄昌宁 微软亚洲研究院
2
提 纲 对NLP的误识 消歧需要词例知识 (1)OAS的侦察和消歧 (2)语块分析 结论
3
对NLP的误识 有人认为: ●中文信息处理 = 汉语理解 ●句法-语义方法是唯一出路 事实是:
●分布在各个层面上的歧义是自然语言的一个本质属性,句法-语义方法在消歧方面的能力尚待证实
4
句法-语义的神话 三种自动分词方法:形式分词(MM),句法分词,语义分词 (王永成) 句法分词“解决切分歧义的 95%”(何克抗)
句法分析可解决切分歧义(Wu,1998) ●事实证明:句法-语义方法在消解切分歧义方面,效果并不理想(Wu, SIGHAN-2003) ●把自然语言处理看成是一个物理符号处理系统也许更现实一些
5
CFG规则不能做什么? ●[NP 经营/农产品/的/加工/潜力/]很大 [NP 农产品/的/加工/]
■ 短语边界歧义: ●[NP 经营/农产品/的/加工/潜力/]很大 [NP 农产品/的/加工/] [VP 经营/ [NP农产品/的/加工/] ] ●重视[NP发挥v/高素质/人才/的/作用/] [NP 高素质/人才/的/作用/] [VP发挥v/ [NP高素质/人才/的/作用/] ] ■切分歧义: ●对路/a 的 渴望 竟 如此 强烈 , [PP 对/p路/n] 的 渴望
6
“的”字前的NP边界 /精力/充沛/的/吴彬/脑子/里/想/的/全/是/武术/的/事儿/。 ●/吴彬/脑子/里/想/的/全/是/武术/的/
●/充沛/的/吴彬/脑子/里/想/的/全/是/武术/的/ ●/吴彬/脑子/里/想/的/全/是/武术/的/ ●/脑子/里/想/的/全/是/武术/的/ ●/想/的/全/是/武术/的/ ●/全/是/武术/的/ ●/武术/的/
7
句法分析调查 一个实用化句法分析器的正确率约73%, 其错误分布 (按句子计算): 分词 词性 组块 中心词 40% 24% 12% 24%
分词 词性 组块 中心词 40% % % % NLP底层工作不扎实是MT性能低下的原因
8
分词歧义调查(933句) 一个基于句法分析器的分词系统 (PBWS) 对交集型歧义字段 (OAS) 的误切:
①决定在全省/戒/玩/风/,/兴学/风/, ●LW: 兴学v,学风n,兴v,风{n, suf} ●构词法 n→v+suf: 抢购~|吃喝~|出国~|兴学~ n→n+suf: 世~|球~|文~|学~|玩~ ●句法 vp→v+n: /戒/玩风/,/兴/学风/, n→v+suf: /戒玩/风/,/兴学/风/,
9
OAS误切示例(续) ②最大限度地防止/[NP 有害/a 信息流/n] [VP 入/v 和/c 传播/v] ③保修条款亦/不详/尽/,
④挽救一/个/人生/命/的义务将凌驾于不侵犯别人隐私的义务。 ⑤改变“一手硬,/一/手软/”的状态,有新闻界的一份功劳。
10
CAS误切示例 PBWS 对覆盖型歧义字段(CAS) 的误切 ⑥东/中西部/地区要按照优势互补、互惠互利、真诚合作的原则,加强联合。
⑦过去思想封闭的赞皇人,/对路/的渴望竟如此强烈, ⑧你们这/群山/里的女娃娃有了学本领、闯世界的志气。 ⑨希望你们再/创新/的业绩。 ⑩进书店/跟进/超市买柴米油盐/一/样/,
11
CAS“才能” X ⑪股票投资者的基本权利/才能/得到保障。 X ⑫怎样在安装等待过程中设计出活动的画面/才能/让用户不致焦躁。
V ⑬与之配套的软件/才/能/调试通, X ⑭切实纠正有偿新闻等不正之风,/才能/更好地为人民服务。 V ⑮由此入手,/才/能/更深刻地洞察信息时代教育改革发展的趋势与前景。
12
CAS“才能”和“才/能” “才/能”10个词;PBWS 报出7词,报对4词 召回率=0.40(4/10); 精确率=0.57(4/7)
●不论切分得对不对,句法分析结果似乎都是合理的: ⑭ …,[NP 才能/n] [VP 更好地/d 为人民/pp 服务/v] 。 ⑮ …,[VP 才/d 能/v 更深刻地/d 洞察/v] …
13
“才能”的语料调查 随机抽取含字串“才能” 的1,100个句子 ●“才/能”出现概率:0.94 (1,035/1,100)
●“才/能”出现概率:0.94 (1,035/1,100) ●最简模型:见到“才能” 统通切开 ●召回率R=0.97(2,070/2,135) 精确率P=0.94(2,070/2,200)
14
提 纲 对NLP的误识 消歧需要词例知识 (1)OAS的侦察和消歧 (2)语块分析 结论
15
为什么需要词例知识? R. A. Hudson.1991. English Word Grammar. Basil Blackwell.
Sag & Wasow Syntactic Theory - A Formal Introduction. CSLI Publications. ●Chapter 9: Realistic Grammar ●9.3 Constraint-Based Lexicalism (基于约束的词例主义) Hunston & Francis Pattern Grammar: A Corpus Driven Approach to the Lexical Grammar of English. John Benjamins,
16
(1)OAS的侦察和消歧 “信心地 → 信心/地”。 如何侦察文本中的OAS?(黄昌宁《应用》97)
●若OF= OB,则 P(OF=OB=正确)≈ 0.99 ●若OF≠OB,则 P(OF=正确 ∨ OB=正确)≈ 0.99 词例化消歧规则 ●分词词表:93,700条 ●语料库:6.5亿字次 ●检出OAS 730,000条; 其中 f≥8: 47,000条 ● 41,000条词例化消歧规则(覆盖率约 80%) “信心地 → 信心/地”。
17
OAS词例化消歧规则 组/成员 组成/约 组/队员 组合/成 组合/时 组/歌曲 组/稿件 大都/是 去年/底 中/西部 一家/人 同一/天
组/成员 组成/约 组/队员 组合/成 组合/时 组/歌曲 组/稿件 大都/是 去年/底 中/西部 一家/人 同一/天 相对/于 全家/人 坐/下来 七/月份 畜牧/场 女/单打 法学/院 方面/向 版画/家
18
OAS的消歧:无指导学习 利用语言信息的冗余性,从未经消歧的语料中学习消歧知识 (Mu Li, SIGHAN-03)
●上下文特征集C = {w-m…w-1,w1…wn...} ●G(Seg,C)是一个评分函数,则 ● Seg = OF,当G(OF,C)>G(OB,C) ● Seg = OB,当G(OB,C)>G(OF,C) ● C =电报 出现在 上世纪 末 因 G (出现/在,C) > G(出/现在,C) 故 Seg = 出现/在
19
训练过程 第一步:用FMM对语料进行预切分 第二步:用BMM发现预切分语料中的最长OAS, 然后用类 ‘gap’ 屏蔽掉全部OAS
第三步:用上述语料训练一个NBC分类器 第四步:在语料中逐个打开gap, 并通过NBC分类器来确定每个OAS的切分 第五步:利用自动消歧后的语料训练一个分词的N元模型,使之具有OAS消歧能力
20
实验结果 Naïve Bayesian Classifier (NBC) l=0 l=1 l=2 r=0 NBC(0,0) NBC(1,0)
FMM BMM 规则+FMM 规则+BMM NBC (0,0) 投票制 73.1% 71.5% 90.7% 91.3% 93.7% 94.1% 测试语料:1997年人民日报,460,000字次, 或247,000词次
21
不同系统的比较 测试集: 52,375词次, 743 个 OAS t-test:p<=1.9e-7
纵坐标为错误个数,我们的系统叫LSP
22
(2)语块分析 CoNLL-2000 (Conference on Natural Language Learning)
语块分析可视为标注问题(Abney, 91) 用标记表示每个词在不同类语块中的位置: I-X:X类语块中的一个词 B-X:连续X类语块中的第一个词 O:语块以外的一个词/标记(如标点符号) 11种语块,标记集共含23个标记
23
英文语块分析的评测 训练集: WSJ Sec. 15-18 Penn Treebank 测试集:
WSJ Sec. 20 of Penn Treebank Tjong Kim Sang and Sabine Buchholz, Introduction to the CoNLL-2000 shared task: Chunking. In: Proceedings of CoNLL-2000 and LLL-2000, Lisbon, Portugal, 2000.
24
CoNLL-2000评测结果 SYSTEM P (%) R (%) F (%) Kudoh & Matsumoto 93,45 93.51
93.48 Van Helteren 93.13 93.32 Tjong Kim Seng 94.04 91.00 92.50 Zhou, Tey & Su 91.99 92.25 92.12 Johansson 86.24 88.25 87.23 Valain & Day 88.82 82.91 85.76 Baseline 72.58 82.14 77.07 Baseline performance:Selecting the chunk tag most frequently associated with a POS rag. The top three systems use compound approach.
25
汉语语块标注规范(spec) 定义了11种语块:NP, VP, ADJP, ADVP, PP, SP, MP, TP , CONJP, INTJP, INDP O (Outside) 标记: “的,得,和,与”,标点符号 举例: [TP 前/f 两/m 年/q] ,/w [NP 我/r] [PP 跟/p] [NP 邻村/n] 的/u [NP 建筑队/n] [VP 到/v] [NP 焦作/ns] [PP 给/p] [NP 人/n] [VP 盖/v] [NP 房子/n] 。/w
26
难在哪里?——边界歧义 ●[TP 当年/t] [NP “/w 知青/n ”/w 人生/n 经历/n] 的/u [NP 节目/n] [NP 收听率/n] [ADJP 很/d 高/a] 。 ● [PP 对/p ] [VP 驻/v] [NP 艰苦/a 地区/n] [NP 部队/n 官兵/n ] [NP 生活/vn] [VP 历来/d 十分/m 重视/v] 。 ●[NP 十五大/j 精神/n] ,/w [VP 使/v] [NP 京剧/n] [NP 步履/n] [VP 坚实/a 地/u 迈向/v] … ● [NP 记者/n] [VP 住/v] 的/u [NP 公寓/n] [NP 楼道/n] [SP 里/f] [VP 写/v 着/u] …
27
语块分析的实验设计 例句:[NP 珠海/ns] 的/u [NP 立体/a 交通/n 框架/n] [VP 已/d 初具规模/v 了/u]
CFG规则:r1=ns__NP, r2= u__O, r3= a_n_n__NP, r4=d_v_u__VP (1) FMM:CFG规则的正向最大匹配 (2) FMM+规则裁剪: 规则增益 G(r)=Nc(r)-Ne(r)≥δ (3) PCFG:C*=argmaxC∏i=1…k P(ri)
28
语块分析的实验设计 (4) HMM:令W,T,C 代表词、词性和语块序列 C*=argmaxC P(C|W,T)
=argmaxC P(W|C,T)P(C,T)/P(W,T) =argmaxC P(W|C,T)P(C,T) 三元组 <ti ,mi ,xi > 表示每个词的词性、语块边界和语块类型,而每个语块的生成规则 r,i = {…<ti ,mi ,xi >…} 则 P(W|C,T) ≈ ∏i=1…m P(wi|ti,mi,xi) P(C,T)≈ P(r1)P(r2|r1) ∏i=3…k P(ri|ri-2ri-1)
29
优选的CFG规则 规则 r G(r) d_v__VP 302 n_n__NP 194 vn_n__NP 109 ad_v__VP 97
v_v__VP 81
30
淘汰的CFG规则 规则 r G(r) n_w__NP -105 v_n__NP -99 n_v__NP -83 p_v__PP -80
p_n__PP -73
31
数据概况 原始语料:1998 年1月人民日报(北大POS标注) 语块标注结果: 数据 标记数 (tokens) 语块数 (chunks)
(outsides) 平均长度 (不包括O) 全部 502,141 259,843 104,691 1.530 训练集 444,777 229,989 92,839 调试集 30,954 15,975 6,359 1.540 测试集 26,410 13,879 5,493 1.507
32
实验结果 Bosch & Buchholz(ACL02)证明,当训练集达5万句时,仅用‘词例’的性能超过了‘词性’ 模型 FMM FMM+
规则裁剪 PCFG HMM 1-gram 3-gram F (%) 35.88 69.45 81.44 86.82 88.39 F≈70% 是CFG分析系统的平均水平, PCFG令F 值进一步提升12点 “HMM(1-gram)”的F 值比PCFG高出5. 4个点,主要是词例知识的贡献 Bosch & Buchholz(ACL02)证明,当训练集达5万句时,仅用‘词例’的性能超过了‘词性’ Shallow parsing on the basis of words only: A case study. 1)当训练集规模=2万~5万句时,仅用‘词例’的chunker性能超过‘词性’; 2)‘词性+词例’比单独用‘词性’或‘词例’的性能都更好。
33
提 纲 对NLP的误识 消歧需要词例知识 (1)OAS的侦察和消歧 (2)语块分析 结论
34
NLP的语言知识 面向机器 面向人 面向任务 面向知识 词典 句法 语义 篇章 基于词例 基于词类/语义类
35
新词识别:构词概率 构词概率 举 例 (解,1) 0.679 解说3 解答11 解开5 解剖学2 解码2 解惑4 (解,2) 0.025
举 例 (解,1) 0.679 解说3 解答11 解开5 解剖学2 解码2 解惑4 (解,2) 0.025 调制解调器2 不解之缘2 排忧解难9 慷慨解囊2 (解,0) 0.296 谅解8 和解12 瓦解2 理解101 见解16 了解274 (解,-1) 0.012 (难 解 的)3 (学者 解 梦)1 (忧 解 过)1 (以 解 企业)2 (,解 了)1 (民 解 愁) 1
36
新词识别:构词类比度 结 成-1 4 结/成交 结/成果 结/成婚 结/成为 44 84 981 274 1588 2770
结 成 结/成交 结/成果 结/成婚 结/成为 typ(X*) typ(Y*) tok(XZ) tok(YZ) tok(X*) tok(Y*) 结 核 结/核算 结/核对 结/核实 结 作 结/作业 结/作成 结/作为 结/作对 结/作案 结 体 集结/体 连结/体 团结/体 总结/体
37
两种语言知识 1)面向:任务 知识 2)对象:大规模真实文本 受限的规范语言 2)表示:概率化参数模型 句法-语义规则
面向机器的语言知识 面向人的语言知 1)面向:任务 知识 2)对象:大规模真实文本 受限的规范语言 2)表示:概率化参数模型 句法-语义规则 3)词例知识:是 基于词类/语义类 4)上下文相关:是 一般上下文无关 5)颗粒度:极细 粗 6)覆盖面:宽 窄 7)获取方式:自动/半自动 语言学家语感/直觉 8)评测: 准绳和动力 例不十法不立, 例外不十法不破
38
路在何方? 重新认识NLP的技术现状和应用需求 摆脱句法-语义传统理念的束缚 扎牢底层核心技术,打造高性能应用系统 NLP的主流技术:
● 词例知识 ● 概率参数模型 ● 统计机器学习
39
谢谢!
Similar presentations