Non-Projective Parsing for Statistical Machine Translation

Presentation on theme: "Non-Projective Parsing for Statistical Machine Translation"— Presentation transcript:

1 Non-Projective Parsing for Statistical Machine Translation
Xavier Carreras and Michael Collins MIT CSAIL EMNLP2009 报告人：肖欣延

2 大纲 背景 TAG简单介绍 本文的工作 总结 2019/8/28 ICT讨论版

3 背景 非句法短语在翻译中是有用的，但在句法模型中，通常无法使用这部分短语
本论文是基于TAG的模型，允许灵活的拼接操作。即能使用句法信息，又能使用非句法短语 作者之前单语上做了TAG (CoNNL 2008, best paper) 的工作，本文是该文章的工作在机器翻译上的使用 2019/8/28 ICT讨论版

4 Ordinary TAG initial tree auxiliary tree 操作 a2 a1 b1 b2 substitution
adjunction NP a2 a1 D D ↓ N the girl b1 ADJ b2 N ADV ADJ * ADJ N * very pretty 2019/8/28 ICT讨论版

5 Ordinary TAG a2 a1 b1 b2 NP NP D D ↓ N D ↓ N the girl the girl ADJ N
ADV ADJ * ADJ N * 操作：Substitution a1 -> a2 very pretty 2019/8/28 ICT讨论版

6 Ordinary TAG a2 a1 b1 b2 NP N NP D girl D ↓ N D the girl the ADJ N ADV
* ADJ N * 操作：adjunction b2 （1）移开n节点 very pretty 2019/8/28 ICT 09 讨论班

7 Ordinary TAG a2 a1 b1 b2 NP N NP D girl D ↓ N D N the girl ADJ N * the
pretty ADJ b2 N ADV ADJ * ADJ N * 操作：adjunction b2 （1）移开n节点 （2）粘贴b2 very pretty 2019/8/28 ICT讨论版

8 Ordinary TAG a2 a1 b1 b2 NP NP D D ↓ N D N the girl ADJ the N pretty
ADV ADJ * ADJ N * 操作：adjunction b2 （1）移开n节点 （2）粘贴b2 （3）将n节点粘贴回来 very pretty 2019/8/28 ICT讨论版

9 Ordinary TAG a2 a1 b1 b2 NP NP D D ↓ N D N the girl the ADJ N girl ADV
very pretty ADV ADJ * ADJ N * 操作：adjunction b1 very pretty 2019/8/28 ICT讨论版

10 TAG （Carreras et.al, 2008） 基本单元是spine,叶节点不含非终结符 Spine的连接通过粘贴操作 S NP VP
EX V NP NPB there is DT N no hierarchy 基本单元是spine,叶节点不含非终结符 Spine的连接通过粘贴操作 2019/8/28 ICT讨论版

11 本文的贡献 TAG-based 翻译模型 重排序模型采用十分灵活的非投射性的连接操作 不对短语表的条目进行限制 目标端使用基于句法的语言模型
控制连接操作 高效解码 2019/8/28 ICT讨论版

12 S-phrase 语法结构 NP PP NPB IN N 源语言 hierarchy of 对齐信息 hierarchy der 目标语言
2019/8/28 ICT讨论版

13 S-phrase extraction 训练语料：源端串+目标端+目标端树 S-phrase：源语言+目标语言+对齐信息+语法结构 S S
NP NP VP PP NP VP NPB NP NPB EX V DT EX V DT N IN N there is no there is no hierarchy of discrimination es gibt keine hierarchy der diskriminierung es gibt keine 训练语料：源端串+目标端+目标端树 S-phrase：源语言+目标语言+对齐信息+语法结构 2019/8/28 ICT讨论版

14 推导 Step1 ：首先获得短语切分 Step2： 使用adjunction操作连接 S VP NP VP ADVP NP ADVP we
must also these criticisms seriously take wir mussen auch diese kritik ernst nehmen Step1 ：首先获得短语切分 Step2： 使用adjunction操作连接 2019/8/28 ICT讨论版

15 模型 score(d) = scoreLM(d) + scoreP (d) + scoreSYN(d) + scoreR(d)
scoreSYN 依存语言模型分数[Charniak 2001] scoreR adjunction操作分数 2019/8/28 ICT讨论版

16 挑战 所有的调序都是允许的 两个挑战 限制调序 搜索 2019/8/28 ICT讨论版

17 ScoreR 判别式依存模型 采用判别模型[McDonald et al. 05]，判别连接的时候，是调序还是不调序 VP NP V DT
we must also these criticisms take wir mussen auch diese kritik ernst nehmen PRP V RB DT N RB V 采用判别模型[McDonald et al. 05]，判别连接的时候，是调序还是不调序 2019/8/28 ICT讨论版

18 Π-constituent 限制 Π-constituent ：头节点及所有后代节点
NP PP NP VP NPB NP NPB EX V DT N IN N there is no hierarchy of discrimination es gibt keine hierarchy der diskriminierung 2019/8/28 ICT讨论版

19 解码 projective 采用span non-projective 采用bit-string 表示覆盖情况
[wir mussen auch] [diese kritik] [ernst] [nehmen] NP/ VP/ VP/ these criticisms V V NP take take these criticisms projective 采用span non-projective 采用bit-string 表示覆盖情况 传统解码同一个stack（Si）存放覆盖长度（i）一样的翻译。这里进行细分，Sij（j表示第j个词被覆盖） 2019/8/28 ICT讨论版

20 实验结果 方向：German to English 语料：Europarl data (750K training sentences)
Development System Bleu score Syntax-based 25.2 Syntax (no disc. model) 23.7(-1.5) Syntax (no Π-c constraint) 24.4(-0.8) Test System Bleu score (Pharaoh) 24.58 Syntax-based system 25.04(+0.46) 2019/8/28 ICT讨论版

21 总结 TAG-based 句法模型 允许非投射性的连接操作 判别式依存模型 可惜的是翻译效果提高并不显著 2019/8/28 ICT讨论版