关于统计机器翻译的思考姚天顺.ppt

关于统计机器翻译的思考 姚天顺自然语言处理实验室东北大学tsyao 2004 7 11 1 前言有这么两条消息 5月10日 参考消息 随着又有10个国家加入欧盟 欧盟现有20种官方语言 年度翻译预算增加到10亿美元 5月28日 参考消息 欧盟新通过一项议案 所有成员国在欧盟会议上的文件不得超过15页A4纸 以减轻翻译人员的工作量 机器翻译的现状和未来到底怎么样了 有计算机的那一天就有机器翻译的研究 计算机事业蓬勃发展 但机器翻译的道路至今仍然十分艰难 上世纪的八十年代 特别是九十年代 语料库语言学在计算语言学界兴起 最近的五年到十年 机器学习方法又受到学术界特别的重视 数学方法大量地引进了语言信息处理 自然语言处理的研究是进了一大步 但对于机器翻译而言 真实的效果在哪里呢 回忆基于规则的机器翻译系统作为主流技术的时代 不管怎么样 多少还出现过一些有市场价值的系统 例如译星 华建和史晓东等的汉英翻译系统 华建的机器翻译 居然取得了国内单项软件出口的最高出售价 欧洲和日本情况也是这样 当前主流的机器翻译还都是基于规则的机器翻译系统 基于语料库的机器翻译方法 一般说来可以分为两类 一类是基于统计的机器翻译系统 另一类和基于模板的机器翻译方法 基于统计的机器翻译 简称为统计机器翻译 统计机器翻译把源语言中任何一个句子都可能是目标语言中某些句子相似 这些句子的相似程度可能都不相同 那么 一个好的机器翻译系统就是那种能找到最相似句子的系统 但是这样的汉外机器翻译系统在我们国家从来也没有出现过 1994年 IBM公司的A Berger P Brown等人发表了一个技术报告 即著名的论文 ThecandideSystemofMachineTranslation 他们用统计方法 各种不同的对齐技术 给出了命名为Candide的统计机器翻译系统 利用汉莎语料库 Hansardcorpus 英法双语语料库 总共有2 205 733英法句对作为训练语料 实现了国际上第一个较为著名的英语到法语的统计机器翻译系统 一开始 系统的成绩不错 整体的系统的译准率超过了基于解释 转换 和生成的规则系统 ARPA 美国国防部高级研究计划署 把这个Candide翻译系统进行评测 并和国际上利用常规的规则系统构造的SYSTRAN机器翻译系统作比较 结果是 流利程度适当程度时间比率率199219931992199319921993SYSTRAN 466 540 686 743Candide 511 580 575 670Transman 819 838 837 850 688 625Manual 833 840TransmanisthepartoftheCandidesystemusedasatranslationassis tancetool i e amachine aidedtranslationsystem 这个结果很了不起 在某种程度上推动了经验主义思潮更进一步向前发展 由于计算语言的复杂性 Candide系统还请了一些语言学家来帮助他们做形态分析 语义标注 和词典等 Candide系统仍不是一个纯统计的系统 这样的系统 看来很有希望 不知为什么 由于IBM公司外部和内部财政方面的原因 支持被撤走 他们的工作坚持到1995年 就被迫停止 呼声很高的系统被中断了 有人说 纯统计的机器翻译注定是要失败的 美国著名机器翻译学者YorickWilks在批评Candide系统时指出 他们在系统中引入符号结构就说明了 纯统计的假设已经失败了 Incorporatingsymbolicstructureshowsthepurestatisticshypothesishasfailed 可见 统计方法是令人鼓舞的 可是它还没有解决所有困难的问题 2 新统计机器翻译系统的出现2000年 在JohnsHopkins的暑假Workshop 有来自南加州大学 罗切斯特大学 约翰 霍普金斯大学 施乐公司 宾州大学 斯丹福大学等学校的研究人员 以Och为主的13人 写了一个FinalReport SyntaxforStatisticalMachineTranslationOch博士发表的论文 DiscriminativeTrainingandMaximumEntropyModelsforStatisticalMachineTranslation 获ACL2002大会最佳论文奖 2001 2003年七月 在美国马里兰州JohnsHopkins美国商业部的NIST TIDES NationalInstituteofStandardsandTechnology atUniversityinBaltimore Maryland评比过程中获最好成绩 构造了23种阿拉伯和汉语到英语的机器翻译系统 TIDES TranslingualInformationDetection ExtractionandSummarization Och的气很盛 他说 伟大的希腊科学家Archimedes说 Givemeaplacetostandon andIwillmovetheworld Och说 Givemeenoughparalleldata andyoucanhavetranslationsystemforanytwolanguagesinamatterofhours 这是不是说 Och博士已经找到机器翻译的有效方法了 3 统计机器翻译语法Berger关于机器翻译的失败 一个主要问题是 统计机器翻译 SMT 往往有显而易见的语法错误 Och希望在SMT里整体组合语法结构 不断添加反映语法知识的特征函数来解决不同语法层次的翻译问题 按照最大熵的模型 在各个语法层次都能给出可能的特征函数希望从最简单的二元特征到复杂的树 树的结构分析都能够造翻译模型 3 1逻辑 线性模型机器翻译的目的是 给定一个源句子Chinese 翻译成可能的目标句子 English 那么 所有可能的目标句的最大概率 Och和Ney在2002年提出的翻译模型 不同于Brown等的设想 1993 是一种后验概率的直接模型 称为直接最大熵翻译模型 其中e和f的位置正好颠倒 利用Berger等人 1996 提出的最大熵框架 在这个框架里 有一组特征函数 对于每一个特征函数 存在一个模型参数 按照最大熵理论 直接概率模型 这是标准的最大熵计算公式 其中分母可以不计 逻辑 线性模型总体结构如下图所示 一个统计机器翻译系统设计成为 切分 短语 对齐 重排 生成 由汉语句子 中国十四个边境开放城市经济建设成就显著 翻译成英文句子 China s14openbordercitiesmarkedeconomicachievements 切分 对齐模板处理形象理解为 本质上存在一个隐变量 再取参数 就有特征函数由原来的转换成 各种语法现象的特征函数浅层语法的特征函数WoRDSelectionPhraseAlignmentAlignmentTemplateSelectionLanguageModelFeatures 深层句法特征函数深层处理的句法特征函数是通过两种模型形成 1 TreetoString的特征函数1 中文句子和英文分析树 对齐概率和的特征函数 2 计算对齐最好的特征函数 2 TreetoTree的特征函数树到树的对齐模型是十分复杂的 例如汉英句对 中国十四个边境开放城市经济建设成就显著 FourteenChineseopenbordercitymakesignficantachievementsineconomicconstruction 标注后的双语句子 中国 NR14 CD个 M边境 NN开放 NN城市 NN经济 NN建设 NN成就 NN显著 VV 不讨论标注的正确性 Fourteen CDChinese JJopen JJborder NNcities NNSmake VBPsignficant JJachievements NNSin INeconomic JJconstruction NN 他们的分析树分别是 例如 这里有两类标注 ThePart of SpeechTaggingGuildelinesforPennChineseTreebank TheUniversityofPennsylvaniaTreebankTag set 其中 NRpropernoun专有名字CDcardinalnumber基数Mmeasureword量词NNcommonnoun普通名字VVotherverb是 有以外的动词JJothernounmodifier其他名字修饰符VBPverb presenttense 3rdpersonsingular动词 现在式 第3人称INprepositionorconjunction subordinating介词或连词 连接逐句或从句 中国十四个边境开放城市经济建设成就显著 同一个含义的两种语言的分析树有着不同的结构 其中有的结构是可以自动转换和对齐的 如AABZ XYZXY有的就不可以自动对齐转换ABCWXYZ没法对齐到WYXZ 2002年 Hajie等人在他们 11人 的论文 Naturallanguagegenerationinthecontextofmachinetranslation 提出了非同构的平行树间的两边进行多于两个节点的m to n的匹配 给出一点弹性处理的许可 例如两个树的词序不变而结构不同等的原来不可对齐问题 在没有引起明显的计算复杂度的情况下 也允许子树对齐 由于这样的考虑 他们就提出了所谓克隆 Clone 操作的概念 克隆操作 允许在源树中 拷贝一个节点到目标树的任意地方 克隆以后 就像以前一样使用树分解 decomposition 和子树对齐 除了克隆以外 其他的基本算法都不变 硬性解决不解之难 Och的设想取自于Gildea的工作 Gildea在2003年的论文中提到 在他们的系统里选用韩英军事领域双语语料 语料包括5083句 使用4982句作为训练语料 101句作评测 韩语句子的平均长度是13个字 对齐结果的比较 如下表所示 Och的狂妄 可能并没有解决问题 就像阿基米德虽然伟大 但还是不能撬起一个地球 Och可能在几个小时里 对于任何双语拿出一个机器翻译系统 但还是不能真正实用 机器翻译任重而道远 回过头来想 Och提出了一个完整的统计机器翻译思想 在各个层次给出了各个特征函数 借用了克隆的思想 提出了统计机器翻译语法的理论 不是点滴的 而是完整的构思 我们似乎可以从中找到起步的光芒 那就是为什么他的论文是一篇最佳论文的原因 但是 最终还没有找到统计机器翻译可遵循的研究道路 路在那里啊 TreetoString TreetoTree的对齐 可能是实现机器翻译的一个瓶颈问题 统计机器翻译的领头人物可能是南加州大学ISI的KevinKnight 提出了基于语法的语言模型 Syntax basedLanguageModels 与一种tree to string翻译模型 YK01 组合在一起 得到较好的翻译精度 这里所提的基于语法 不是普通意义上的人工规则 而是在树库条件下自动生成语法 是很有意思的 但其试验结果 346个句子 YC 就是他们文章上写的系统 也就是YK01翻译模型 Cha01语言模型和基于森林的解码器组成的系统 YT YK01翻译模型 标准三元语言模型和YK02解码器BT BPPM93翻译模型 标准三元语言模型和GJM 01贪婪解码器注 E Charniak KevinKnightandK Yamada Suntax basedLanguageModelsforStatisticalMachineTranslation 另一位是 约翰霍普金斯大学计算机系的JasonEisner讨论非同构树 Non IsomorphicTree 映射问题 即通过训练美对齐的树或者树和串混合的队 学习tree to tree映射 提出一种所谓STSG 它是一种共时树置换文法 Synchronoustreesubstitutiongrammar 这是对齐的基本树队 有序 的聚集 它也是一个简单的共时树邻接文法 Synchronoustree adjoininggrammar 现已用所有的树对作训练集 利用EM算法获得基本树的概率 和Viterbi解码器找到最优的翻译 这些方法也是在暑期 2002 约翰霍普金斯大学CLSP暑期研讨会开发和实现的 效果有待考验 注 JassonEisner LaerningNon IsomorphicTreeMappingforMachineTranslation 不仅如此 在机器学习方面 最近又有了新的发展 自然语言处理的学习都被认为是一种带标序列学习问题 LabelSequenceLearning以前的HiddenMarkovModelsMaximumEntropyMarkovModels都是带标序列学习问题 现在提出一种新的理论和方法ConditionRandomFields那有事么不同呢 直观地讲 可以比喻如下图形 HMMMEMMCRF 这主要是解决了两大问题 Long distancedependences长距离相关Overlappingfeatures重叠特征这是个重大的改进 学术界出现了CRF热 HMM方法早就不行了 Och用MEMM也可以改进 出现了CRF 当初 NIST在2001年和2003年两次评测得第一 是汉英机器翻译的评比获得第一 可能是专了一个空子 只是汉英机器翻译 如果是其他语种的机器翻译 可能得不了第一 这就是为什么多年来SYSTRAN还是一直坚持老办法 为什么欧洲和日本机器翻译的主流技术还是基于规则的 为什么著名的计算语言学家Wilkes这么反对统计机器翻译 我们国内也是如此 直到现在 甚至连一个实验性的统计机器翻译系统都没有 机器翻译是NLP领域的百科全书 如果树串对齐 树树对齐 这个瓶颈问题不解决 统计语言学的前景将黯然失色 对他们的信心将产生怀疑 相信 这个瓶颈问题总能解决 为了进一步开发基于语料库的机器翻译系统 必须解决两个问题 必须尽快构造海量带标语料库 带标树库 尽快攻克汉外结构化树库对齐的技术难点 把统计机器翻译的研究前进一大步 语言标注 树库的建设仍在国际上迅速展开 可是我们国家的步伐太慢了 2003年美国的计算语言学者们不满足现有的 多达2000万词的英国国家语料库 BNC BeritishNationalCorpus 带标语料库的需求 向全世界发布了美国国家语料库 ANC AmericanNationalCorpus 的第一个版本 这是一个具有11 508 216词汇的带标语料库 由两部分内容组成 其中口语3 224 388字 书面语8 283 828字 使用规范的XMLcorpusEncodingStandard XCES 书写 并宣布再做两年 至少可以达到100million 气魄很大 为了开展这个活动 组织了ANC联盟 有16个大公司和学校作为商业成员 8个大公司和学校作为学术成员 参加并支持这项研究工作 CommercialMembersPearsonEducationLangenscheidtPublishingGroupHarperCollinsPublishersCambridgeUniversityPressMicrosoftCorporationShogakukanInc ALCPressInc TaishukanPublishingCompanyOxfordUniversityPressKenkyushaLtd IBMCorporationObunshaPublishingCo Ltd BenesseCorporationSanseidoCo Ltd SonyElectronicsInc MacmillanPublishersAcademicMembersVassarCollegeNorthernArizonaUniversityNewYorkUniversityLinguisticDataConsortium UniversityofPennsylvaniaInternationalComputerScienceInstituteUniversityofCalifornia BerkeleyUniversityofColoradoatBoulder PennChineseTreebank起源于1998年 目标是500 000词汉语语料的语法树 2000年出了第一版 2001年进一步校正 出了第二版 ChineseTreebank4 0包含有404 156词 664 633汉字 15 162个句子 和838个数据文件 非会员价格 US 225 部分资助来自DARPA TIDESgrantnumberN66001 00 1 8915 我们的语言和西方的不同 结构上的巨大差别 必须要搞带标语料库 树库 希望在语料库语言学方面有所突破 5 关于 中国未来20年技术预见研究 年初 中科院发起了 中国未来 年技术预见研究 信息技术领域技术课题及其说明的德尔菲调查 调查的内容中 有两个地方涉及到机器翻译问题 属于人机交互与智能处理技术子领域的子课题 1 文本机器翻译系统成为信息交互的重要工具 预见项目的说明中讲 机器翻译的成熟将是特定领域的文本在不同语言间的转换变得越来越容易 2 多国语言间特定领域的口语同声翻译系统得到实际应用预见项目的说明中又讲 随着这些相关技术 语音识别 合成和机器翻译 在特定领域应用中的逐步成熟 我不大同意这个所谓的 成熟 不管成熟还是逐步成熟 我看还谈不上成不成熟 50多年都没有得到基本的解决 20年还能怎么样 机器翻译 按市场上的宣传而言 那不好说 科学是老实的东西 来不得半点虚假 看来 技术决策层里没有我们业内的人 中国未来20年技术预见研究 里 涉及到计算语言学的内容大致有 1 开发出各行各业的本体体系2 开发出能模拟人类认知能力的计算机系统3 网络智能于主动服务技术得到广泛应用4 音视频智能摘要5 非法播出内容的实时控制6 语音技术取得突破性的进展并部分得到实际应用7 多国语言间特定领域的口语同声翻译系统得到实际应用 8 校正发音的电子语言学习机成为人们学习语言的有力工具9 文本机器翻译系统成为信息交流的重要工具10 基于自然语言理解的在线帮助系统在更多领域得到实际应用11 海量知识库技术在国家知识基础设备和相关技术产品市场得到广泛应用12 智能化网络信息搜索 知识挖掘得到实际应用13 开发出数字人技术和应用系统14 智能空间技术和智能家居社区系统得到普及 15 人类文化 自然遗产数字化技数字博物馆技术取得实质性进展 科学研究不练内功 光想立竿见影 我看是不行 谢谢大家