基于短语的对数线性模型的统计机器翻译方法与系统实现

• 作 者: 宋彦
• 发表日期: 2008年01期
• 关键词: 统计机器翻译 短语 对数线性模型 柱搜索

统计机器翻译是一种完全基于数据驱动的机器翻译方法,相比其它方法能更高效和客观地构建翻译系统,而且随着当前计算机可读语料的飞速膨胀和计算机运算性能的极大提升,统计机器翻译已经成为机器翻译研究领域的热点和前沿。作为统计机器翻译研究的重点,不同的翻译方法一直是决定翻译效果的关键因素。基于此认识,本文进行了基于短语的对数线性模型的统计机器翻译方法的研究并实现了一个基于该方法的翻译系统,在实验和专利翻译的应用中取得到了较好的翻译效果。本文的主要工作是:短语对齐模型和N-gram统计语言模型的研究和分析,其中包括词对齐及其生成短语对齐模型的计算方法、N-gram统计语言模型的计算和回退方法;基于短语的对数线性模型的原理分析,在其基础上提出了一种多模型的特征组合方式,包括正反向对齐模型和多个语言模型的融合,实验结果证明了这种组合的有效性;基于柱搜索算法的翻译流程的研究,包括对短语翻译候选项的生成、未来概率计算、搜索和剪枝以及译文生成等算法的深入分析,并基于该流程设计实现了一个模块化、可移植、可定制且构造代价小的翻译系统,在实验和应用中均取得了不错的效果;另外,针对一般翻译系统采用内存方式组织短语翻译表带来的问题,提出了一种采用文件索引形式的存储策略,能大大降低系统对使用环境的需求,合理分配计算资源。基于短语的对数线性模型的统计机器翻译方法研究及其系统的实现涉及到统计机器翻译的各个环节,本文在模型和算法方面的探索也证明了该方法的有效性。最后,本文阐述了对统计机器翻译发展和趋势的思考,提出了未来统计机器翻译的应用及其与语言学知识的融合的目标。