ISCAS机器翻译和系统融合评测系统.ppt

ISCAS机器翻译和系统融合评测系统 张大鲲孙乐中国科学院软件研究所dakun04 2 大纲 汉英新闻领域翻译评测概述系统流程预处理和后处理测试结果系统融合评测 3 概述 训练语料受限的汉英机器翻译基于短语的统计机器翻译系统4元语言模型3元大小写敏感语言模型进行大小写还原利用规则对数字进行处理 4 系统流程 全部小写化 GIZA 双向词对齐 短语抽取5个概率 4元语言模型 3元大小写敏感语言模型 数词翻译替换 翻译输出 数词识别与替换 Beam搜索解码 预处理 后处理 训练 平行语料 5 特征 短语翻译概率词汇化概率反向短语翻译概率反向词汇化概率短语惩罚概率 2 718 词语惩罚 目标语言句子长度 目标语言模型 4元 6 预处理和后处理 中文语料中的英文和英文语料全部小写中文全角字符转换为半角 ABC123StanfordChineseWordSegmenter分词数字单独处理 7 训练语料 短语数量 1600万 8 开发集调整参数 WP 词语惩罚PT 翻译模型概率 包括词汇化概率和短语惩罚 DW 调序的权重LW 语言模型权重ML 最大的短语长度LD 调序的限制范围MS 栈大小TL 允许的最多翻译候选项 489句4个参考答案BLEU 0 1039 9 测试结果 10 系统融合 主要方法 Rostietal 2007 句子级融合重评分 输出最好的句子短语级融合构造新的短语表 计算概率 重新解码词级融合词对齐 形成词图 最优路径 11 系统融合 12 重评分 统计在候选翻译中出现的所有n gram个数计算每个句子中命中的个数 n 7 权重 利用开发集训练 13 测试 使用提供的10个单位提交的17个系统的翻译结果 没有使用系统U14的结果 14 总结 汉英新闻领域翻译评测训练语料受限基于短语的翻译系统4元语言模型利用规则对数字进行处理系统融合评测句子级的融合方法利用n gram进行重评分 15 谢谢 Thanks