ISCAS机器翻译和系统融合评测系统课件

ISCAS机器翻译和系统融合评测系统机器翻译和系统融合评测系统张大鲲张大鲲 孙乐孙乐中国科学院软件研究所中国科学院软件研究所1ISCAS机器翻译和系统融合评测系统张大鲲 孙乐1大纲大纲l汉英新闻领域翻译评测汉英新闻领域翻译评测概述概述系统流程系统流程预处理和后处理预处理和后处理测试结果测试结果l系统融合评测系统融合评测2大纲汉英新闻领域翻译评测2概述概述l训练语料受限的汉英机器翻译训练语料受限的汉英机器翻译l基于短语的统计机器翻译系统基于短语的统计机器翻译系统4元语言模型元语言模型3元大小写敏感语言模型进行大小写还原元大小写敏感语言模型进行大小写还原利用规则对数字进行处理利用规则对数字进行处理3概述训练语料受限的汉英机器翻译3系统流程系统流程全部小写化全部小写化GIZA+双向词对齐双向词对齐短语抽取短语抽取5个概率个概率4元元语言模型语言模型3元大小写敏感元大小写敏感语言模型语言模型数词翻译数词翻译替换替换翻译输出翻译输出数词识别数词识别与替换与替换Beam搜索搜索解码解码预处理预处理后处理后处理训练训练平行语料平行语料4系统流程全部小写化GIZA+短语抽取4元3元大小写敏感数词特征特征l短语翻译概率短语翻译概率l词汇化概率词汇化概率l反向短语翻译概率反向短语翻译概率l反向词汇化概率反向词汇化概率 l短语惩罚概率（短语惩罚概率（2.718）l词语惩罚（目标语言句子长度）词语惩罚（目标语言句子长度）l目标语言模型，目标语言模型，4元元5特征短语翻译概率5预处理和后处理预处理和后处理l中文语料中的英文和英文语料全部小写中文语料中的英文和英文语料全部小写l中文全角字符转换为半角中文全角字符转换为半角 ABC123lStanford Chinese Word Segmenter分词分词l数字单独处理数字单独处理6预处理和后处理中文语料中的英文和英文语料全部小写6训练语料训练语料来源来源数据提供数据提供单位单位数据文件数据文件类型类型句对数目句对数目（约）（约）厦门大学英汉电影字幕平行语料库厦门大学英汉电影字幕平行语料库厦门大学厦门大学电影电影17万万哈工大信息检索组英汉句子级对齐语料库哈工大信息检索组英汉句子级对齐语料库哈工大检索哈工大检索综合综合10万万ChineseLDC（资源编号：（资源编号：CLDC-LAC-2003-006）汉英）汉英/汉日双语语料库（汉英部分）汉日双语语料库（汉英部分）北京大学北京大学综合综合20万万哈工大机器翻译组英汉句子级对齐语料库哈工大机器翻译组英汉句子级对齐语料库哈工大机译哈工大机译综合综合5万万ChineseLDC（资源编号：（资源编号：CLDC-LAC-2003-004）中英句子级对齐双语语料库）中英句子级对齐双语语料库计算所、自计算所、自动化所动化所综合综合30万万合计合计82万万短语数量：短语数量：1600万万7训练语料来源数据提供数据文件句对数目厦门大学英汉电影字幕平行开发集调整参数开发集调整参数参数参数WPPT-0.26590.04490.10090.03210.0433-0.2747参数参数DWLWMLLDMSTL0.09490.14337410020WP 词语惩罚词语惩罚PT 翻译模型概率（包括词汇化概率和短语惩罚）翻译模型概率（包括词汇化概率和短语惩罚）DW 调序的权重调序的权重LW 语言模型权重语言模型权重ML 最大的短语长度最大的短语长度LD 调序的限制范围调序的限制范围MS 栈大小栈大小TL 允许的最多翻译候选项允许的最多翻译候选项489句句4个参考答案个参考答案BLEU=0.10398开发集调整参数参数WPPT-0.26590.04490.10测试结果测试结果IDBLEU4NIST5GTMmWERmPERICT受限语料受限语料ISCAS0.18386.81840.65960.78840.56760.2752最好结果最好结果0.22647.64260.71280.73070.51640.3352非受限语料非受限语料最好结果最好结果0.28097.52350.72380.68240.50500.38059测试结果IDBLEU4NIST5GTMmWERmPERICT系统融合系统融合l主要方法主要方法(Rosti et al.2007)句子级融合句子级融合l重评分，输出最好的句子重评分，输出最好的句子短语级融合短语级融合l构造新的短语表，计算概率，重新解码构造新的短语表，计算概率，重新解码词级融合词级融合l词对齐，形成词图，最优路径词对齐，形成词图，最优路径10系统融合主要方法(Rosti et al.2007)10系统融合系统融合11系统融合11重评分重评分l统计在候选翻译中出现的所有统计在候选翻译中出现的所有n-gram个数个数l计算每个句子中命中的个数计算每个句子中命中的个数n=7 权重，利用开发集训练权重，利用开发集训练12重评分统计在候选翻译中出现的所有n-gram个数n=7 权重测试测试l使用提供的使用提供的10个单位提交的个单位提交的17个系统的翻译个系统的翻译结果（没有使用系统结果（没有使用系统U14的结果）的结果）IDBLEU4NIST5GTMmWERmPERICTISCAS0.25098.10130.71960.71540.50050.3336最好结果最好结果0.29447.75010.73190.67610.49720.392013测试使用提供的10个单位提交的17个系统的翻译结果（没有使用总结总结l汉英新闻领域翻译评测汉英新闻领域翻译评测训练语料受限训练语料受限基于短语的翻译系统基于短语的翻译系统l4元语言模型元语言模型l利用规则对数字进行处理利用规则对数字进行处理l系统融合评测系统融合评测句子级的融合方法句子级的融合方法利用利用n-gram进行重评分进行重评分14总结汉英新闻领域翻译评测14谢谢谢谢!Thanks!15谢谢!15