基于维基百科的双语语料挖掘技术研究

• 作 者: 孟桂国
• 机 构: 苏州大学江苏省计算机信息处理技术重点实验室
• 出 处: 科技风
• 发表日期: 2010年期
• 关键词: 维基百科 双语网页 网页挖掘 双语句对 统计机器翻译

大规模双语平行或可比较语料库是构建高质量统计机器翻译系统的重要基础资源。目前大规模双语语料库的建设存在着很大的困难,在规模、时效性和领域平衡性等方面还不能满足处理真实文本的需要。本文充分利用维基百科中大量存在的双语平行或可比较资源,研究自动获取的方法并验证其有效性,从而获取满足双语平行或可比较语料。从某个特定的网页中,需要定义一种启发式信息来概括这类多语种平行或可比较文本存在的共同特征,以此作为一个有效的入口,来获取我们关心的资源。维基百科中双语平行或可比较资源是完全存在于两个平行或可比较的单语网页中。本文针对这种资源定义了有效的启发式信息,从而很好地解决了大规模数据的来源问题。网络作者在进行双语平行或可比较网页URL命名时往往具有一定的规律性。本文提出了一种自动发现一个具有URL命名规律性算法,从而从维基百科中找出尽可能多的可信的中英文候选网页配比对。双语平行或可比较的网页文本不同于一般的双语对照文本,其中不仅存在有用的双语对照信息,还存在一定的无关噪音信息等;此外,网页文本中的词汇量也大大超出任何一本双语词典的范围。这些都造成了对双语平行或可比较网页进行句子对齐的难度。本文基于维基百科的网页结构,充分利用双语平行或可比较网页HTML结构相似性这一优点,提出了一种基于标签序列最长公共子串的DOM树对齐改进算法的双语平行或可比较句对的抽取技术,从而取得到了很好的效果。最后,我们实现了上述三个方面的技术,搭建了一个可以在维基百科上自动获取双语平行或可比较语料库的实验平台。