百科资源中双语知识挖掘及其在查询翻译中的应用研究

• 作 者: 闫启伟
• 发表日期: 2014年01期
• 关键词: 跨语言信息检索 维基百科 短语翻译 倒排索引

信息时代,利用互联网查询信息是很多人工作和生活中的重要内容。同时,人们对其他语言信息的需求也不断增长。跨语言信息检索(CLIR)的出现,方便了用户使用自己熟悉的语言检索另一种语言的信息。查询翻译是跨语言信息检索中最常用的技术。在查询翻译的CLIR系统中,专有名词、新词、俚语和技术术语等的翻译是影响其系统性能的关键因素。为解决未登录词不足的问题,首先进行模板挖掘,然后采用模板的方法,从百科资源中挖掘大量存在的双语翻译对,有效扩大了词典的规模。模板挖掘中将中英文翻译对模板分为五部分,利用Pat-Array抽取前后缀的最长共有前缀,组合成模板。在查询翻译中,对于提交的查询词,结合了统计和实例的方法进行短语翻译。最后采用Lucene技术,创建中、英文倒排索引,构建了基于查询翻译的中英文跨语言信息检索系统。创新点主要体现在以下两个方面：利用维基百科的领域覆盖率和结构特征,提出了一种从维基百科中挖掘高质量中英文翻译对的模板方法。首先,从语言工具栏中直接抽取翻译对,作为进一步挖掘的启发知识。然后,在维基页面中,自适应挖掘中英翻译对模板。最后,利用挖掘的模板,在页面中抽取其他中英文翻译对。实验结果表明,该方法能有效地挖掘出常见的模板,而且能够挖掘出人不容易发现的模板,评估打分前的正确率即达到76.63%,加入评估后的正确率为90.4%。为提高查询翻译的准确率,对比了基于实例和统计的短语翻译方法。最后结合了两者的结果。在统计短语翻译中加入词法信息,将解码最优解的过程转换成Re-Ranking问题。结果表明,采用混合的方法比单纯的基于实例短语翻译和基于统计短语翻译均有提高。