Non-Projective Parsing for Statistical Machine Translation Xavier Carreras and Michael Collins MIT CSAIL EMNLP2009 报告人：肖欣延

大纲 背景 TAG简单介绍 本文的工作 总结 2019/8/28 ICT讨论版

背景 非句法短语在翻译中是有用的，但在句法模型中，通常无法使用这部分短语 本论文是基于TAG的模型，允许灵活的拼接操作。即能使用句法信息，又能使用非句法短语 作者之前单语上做了TAG (CoNNL 2008, best paper) 的工作，本文是该文章的工作在机器翻译上的使用 2019/8/28 ICT讨论版

Ordinary TAG initial tree auxiliary tree 操作 a2 a1 b1 b2 substitution adjunction NP a2 a1 D D ↓ N the girl b1 ADJ b2 N ADV ADJ * ADJ N * very pretty 2019/8/28 ICT讨论版

Ordinary TAG a2 a1 b1 b2 NP NP D D ↓ N D ↓ N the girl the girl ADJ N ADV ADJ * ADJ N * 操作：Substitution a1 -> a2 very pretty 2019/8/28 ICT讨论版

Ordinary TAG a2 a1 b1 b2 NP N NP D girl D ↓ N D the girl the ADJ N ADV * ADJ N * 操作：adjunction b2 （1）移开n节点 very pretty 2019/8/28 ICT 09 讨论班

Ordinary TAG a2 a1 b1 b2 NP N NP D girl D ↓ N D N the girl ADJ N * the pretty ADJ b2 N ADV ADJ * ADJ N * 操作：adjunction b2 （1）移开n节点 （2）粘贴b2 very pretty 2019/8/28 ICT讨论版

Ordinary TAG a2 a1 b1 b2 NP NP D D ↓ N D N the girl ADJ the N pretty ADV ADJ * ADJ N * 操作：adjunction b2 （1）移开n节点 （2）粘贴b2 （3）将n节点粘贴回来 very pretty 2019/8/28 ICT讨论版

Ordinary TAG a2 a1 b1 b2 NP NP D D ↓ N D N the girl the ADJ N girl ADV very pretty ADV ADJ * ADJ N * 操作：adjunction b1 very pretty 2019/8/28 ICT讨论版

TAG （Carreras et.al, 2008） 基本单元是spine,叶节点不含非终结符 Spine的连接通过粘贴操作 S NP VP EX V NP NPB there is DT N no hierarchy 基本单元是spine,叶节点不含非终结符 Spine的连接通过粘贴操作 2019/8/28 ICT讨论版

本文的贡献 TAG-based 翻译模型 重排序模型采用十分灵活的非投射性的连接操作 不对短语表的条目进行限制 目标端使用基于句法的语言模型 控制连接操作 高效解码 2019/8/28 ICT讨论版

S-phrase 语法结构 NP PP NPB IN N 源语言 hierarchy of 对齐信息 hierarchy der 目标语言 2019/8/28 ICT讨论版

S-phrase extraction 训练语料：源端串+目标端+目标端树 S-phrase：源语言+目标语言+对齐信息+语法结构 S S NP NP VP PP NP VP NPB NP NPB EX V DT EX V DT N IN N there is no there is no hierarchy of discrimination es gibt keine hierarchy der diskriminierung es gibt keine 训练语料：源端串+目标端+目标端树 S-phrase：源语言+目标语言+对齐信息+语法结构 2019/8/28 ICT讨论版

推导 Step1 ：首先获得短语切分 Step2： 使用adjunction操作连接 S VP NP VP ADVP NP ADVP we must also these criticisms seriously take wir mussen auch diese kritik ernst nehmen Step1 ：首先获得短语切分 Step2： 使用adjunction操作连接 2019/8/28 ICT讨论版

模型 score(d) = scoreLM(d) + scoreP (d) + scoreSYN(d) + scoreR(d) scoreSYN 依存语言模型分数[Charniak 2001] scoreR adjunction操作分数 2019/8/28 ICT讨论版

挑战 所有的调序都是允许的 两个挑战 限制调序 搜索 2019/8/28 ICT讨论版

ScoreR 判别式依存模型 采用判别模型[McDonald et al. 05]，判别连接的时候，是调序还是不调序 VP NP V DT we must also these criticisms take wir mussen auch diese kritik ernst nehmen PRP V RB DT N RB V 采用判别模型[McDonald et al. 05]，判别连接的时候，是调序还是不调序 2019/8/28 ICT讨论版

Π-constituent 限制 Π-constituent ：头节点及所有后代节点 NP PP NP VP NPB NP NPB EX V DT N IN N there is no hierarchy of discrimination es gibt keine hierarchy der diskriminierung 2019/8/28 ICT讨论版

解码 projective 采用span non-projective 采用bit-string 表示覆盖情况 [wir mussen auch] [diese kritik] [ernst] [nehmen] NP/0001100 VP/0000001 VP/0001101 these criticisms V V NP take take these criticisms projective 采用span non-projective 采用bit-string 表示覆盖情况 传统解码同一个stack（Si）存放覆盖长度（i）一样的翻译。这里进行细分，Sij（j表示第j个词被覆盖） 2019/8/28 ICT讨论版

实验结果 方向：German to English 语料：Europarl data (750K training sentences) Development System Bleu score Syntax-based 25.2 Syntax (no disc. model) 23.7(-1.5) Syntax (no Π-c constraint) 24.4(-0.8) Test System Bleu score (Pharaoh) 24.58 Syntax-based system 25.04(+0.46) 2019/8/28 ICT讨论版

总结 TAG-based 句法模型 允许非投射性的连接操作 判别式依存模型 可惜的是翻译效果提高并不显著 2019/8/28 ICT讨论版