基于网络资源的中文命名识别与翻译方法研究

• 作 者: 于淼
• 机 构: 中国科学院大学
• 出 处: 中国科学院研究生院 中国科学院大学
• 发表日期: 2012年期
• 关键词: 命名实体识别 中文地址 机器翻译 维基百科 网络资源 翻译方法

命名实体识别与翻译是自然语言处理的一个基础性的工作,同时也是很多应用中的关键性技术,如信息检索、信息抽取以及机器翻译等。近年来,大量以人名、地名、机构名等命名实体居多的新词不断涌现,传统的基于规则或基于统计的方法已不能满足更新速度不断加快、规模数量不断扩大的命名实体识别与翻译任务。本文利用网络资源对命名实体识别与翻译方法进行了研究,目标在于提高命名实体识别与翻译的性能。　　
具体的说,本文的主要研究内容如下:　　
第一,研究了一种充分利用网络词典实现中文地址翻译方法。首先利用区划词典、关键字词典和模式表进行分词及词语类型标注,并根据词语类型划分地址单元;然后,以统计翻译模型为基础结合少量的翻译词典和人工模板对地址单元进行翻译;最后,将地址单元的翻译结果以逆序粘合在一起,形成最终译文。实验表明,利用本文的方法翻译中文地址能够取得较好的翻译效果。　　
第二,研究了基于维基百科的命名实体识别与消歧方法。首先,利用开源的JWPL工具建立了维基百科数据库;然后,抽取维基百科页面第一句话中的定义性名词作为额外的知识加入到命名实体识别中;最后,利用维基百科消歧页面和上下文信息实现命名实体消歧。实验表明,利用维基百科特征可以有效提高命名实体识别的正确率。　　
第三,研究了基于维基百科的命名实体翻译词典抽取及应用方法。我们充分利用维基百科结构化的层次分类系统,提出了一个基于种子的反复迭代法从维基百科页面抽取一部庞大的命名实体翻译词典并将该词典应用于统计机器翻译当中。实验表明,本文抽取的维基百科命名实体翻译词典能有效的提高机器翻译的质量。