大纲 汉英新闻领域翻译评测 概述 系统流程 预处理和后处理 测试结果 系统融合评测. 张大鲲 孙乐 中国科学院软件研究所

Presentation on theme: "大纲 汉英新闻领域翻译评测 概述 系统流程 预处理和后处理 测试结果 系统融合评测. 张大鲲 孙乐 中国科学院软件研究所"— Presentation transcript:

1 张大鲲 孙乐 中国科学院软件研究所 dakun04@iscas.ac.cn

2 大纲 汉英新闻领域翻译评测 概述 系统流程 预处理和后处理 测试结果 系统融合评测

3 概述 训练语料受限的汉英机器翻译 基于短语的统计机器翻译系统 4元语言模型 3元大小写敏感语言模型进行大小写还原 利用规则对数字进行处理

4 系统流程 GIZA++ 双向词对齐 短语抽取 5个概率 平行语料 全部小写化 数词识别 与替换 4元 语言模型 Beam 搜索 解码
训练 预处理 GIZA++ 双向词对齐 短语抽取 5个概率 平行语料 全部小写化 数词识别 与替换 4元 语言模型 后处理 Beam 搜索 解码 3元大小写敏感 语言模型 数词翻译 替换 翻译输出

5 特征 短语翻译概率 词汇化概率 反向短语翻译概率 反向词汇化概率 短语惩罚概率（2.718） 词语惩罚（目标语言句子长度）
目标语言模型，4元

6 预处理和后处理 中文语料中的英文和英文语料全部小写 中文全角字符转换为半角 数字单独处理 ＡＢＣ１２３→ ABC123
Stanford Chinese Word Segmenter分词 数字单独处理

7 训练语料 短语数量：1600万 来源 数据提供 单位 数据文件 类型 句对数目 （约） 厦门大学英汉电影字幕平行语料库 厦门大学 电影
17万 哈工大信息检索组英汉句子级对齐语料库 哈工大检索 综合 10万 ChineseLDC（资源编号：CLDC-LAC ）汉英/汉日双语语料库（汉英部分） 北京大学 20万 哈工大机器翻译组英汉句子级对齐语料库 哈工大机译 5万 ChineseLDC（资源编号：CLDC-LAC ）中英句子级对齐双语语料库 计算所、自动化所 30万 合计 82万 短语数量：1600万

8 开发集调整参数 489句 4个参考答案 BLEU = 0.1039 参数 WP PT -0.2659 0.0449 0.1009
0.0321 0.0433 DW LW ML LD MS TL 0.0949 0.1433 7 4 100 20 WP – 词语惩罚 PT – 翻译模型概率（包括词汇化概率和短语惩罚） DW – 调序的权重 LW – 语言模型权重 ML – 最大的短语长度 LD – 调序的限制范围 MS – 栈大小 TL – 允许的最多翻译候选项 489句 4个参考答案 BLEU =

9 测试结果 ID BLEU4 NIST5 GTM mWER mPER ICT 受限语料 ISCAS 0.1838 6.8184 0.6596
0.7884 0.5676 0.2752 最好结果 0.2264 7.6426 0.7128 0.7307 0.5164 0.3352 非受限语料 0.2809 7.5235 0.7238 0.6824 0.5050 0.3805

10 系统融合 主要方法 (Rosti et al. 2007) 句子级融合 短语级融合 词级融合 重评分，输出最好的句子
构造新的短语表，计算概率，重新解码 词级融合 词对齐，形成词图，最优路径

11 系统融合

12 重评分 统计在候选翻译中出现的所有n-gram个数 计算每个句子中命中的个数 n=7 权重，利用开发集训练

13 测试 使用提供的10个单位提交的17个系统的翻译结果（没有使用系统U14的结果） ID BLEU4 NIST5 GTM mWER mPER
ICT ISCAS 0.2509 8.1013 0.7196 0.7154 0.5005 0.3336 最好结果 0.2944 7.7501 0.7319 0.6761 0.4972 0.3920

14 总结 汉英新闻领域翻译评测 系统融合评测 训练语料受限 基于短语的翻译系统 句子级的融合方法 利用n-gram进行重评分 4元语言模型
利用规则对数字进行处理 系统融合评测 句子级的融合方法 利用n-gram进行重评分

15 谢谢! Thanks!