论文部分内容阅读
随着国际上交流与合作的不断加强,人们对跨语言信息处理的需求越来越多。日本与我国关系密切,因此对日文信息的获取和处理是非常有必要的。日文词法分析是日文信息处理的基础,在跨语言信息检索、机器翻译、信息抽取等实际应用领域都扮演着重要的角色。本文主要对日文词法分析、名实体识别以及它们在跨语言信息检索中的应用进行研究,具体的研究内容主要包括以下几个方面:1.对日文进行分词和词性标注研究。针对日文分词中的歧义切分问题,本文采用最大概率分词法,利用Ipadic词典对日文文本进行粗切分,并用动态规划算法寻找最佳分词路径。针对日文分词中的未登录词问题,提出基于字的识别方法。用HMM实现日文词性标注的训练和标注过程,并对稀疏数据进行平滑。标注过程中先对词串进行以单标记词为边界的划分,然后用Viterbi算法寻找最佳词性标记序列,降低了处理的复杂性。在EDR语料上的测试,分词F值为95.76%,词性标注F值为96.70%。2.对日文名实体识别及其后处理技术的研究。本文采用最大熵模型进行日文名实体识别研究,采用的主要特征有词形特征、词性特征、词典特征和上下文特征。针对统计方法对语料依赖性强的问题,本文提出改进的基于TBL的日文名实体识别后处理方法。该方法能针对名实体识别错误自动学习,获取转换规则,并对规则进行优化。实验证明该方法是一种有效的日文名实体识别后处理方法。3.对日英跨语言信息检索中查询翻译方法的研究。考虑到现有资源和系统效率问题,本文采用翻译查询的方法实现日英跨语言信息检索。针对基于词典的查询翻译方法存在的翻译歧义问题,本文采用双语词典与共现模型相结合的查询翻译方法。针对基于词典的翻译方法中词典覆盖度的问题,本文根据日文的特点,采用对词典中不存在的日文人名、地名以及片假名词的音译方法,显著提高了查询翻译的效果。最后,本文利用Lucene工具包构建英文检索模块,实现对英文文档索引和检索的功能。