基于隐马尔可夫模型的中文词义消歧方法研究

• 作 者: 孙彦晨
• 出 处: 哈尔滨理工大学
• 发表日期: 2016年期
• 关键词: 自然语言处理 词义消歧 特征提取 隐马尔可夫模型

在自然语言中,一词多义的现象普遍存在,这使得机器对自然语言的处理变得十分困难,词义消歧是自然语言处理领域的一个关键问题。词义消歧的目标就是让机器能够在特定的上下文中自动判断歧义词的准确含义。在信息检索、主题跟踪、文本分类和机器翻译等方面,都有着十分重要的作用。到目前为止,词义消歧一直是困扰计算语言研究者的复杂问题。本文的主要研究内容是基于机器学习理论的有监督词义消歧方法,这种方法是目前词义消歧领域中的主流研究方法。该方法有着很强的扩展性和灵活性,能够应对不同语言并适应语言的发展。本文的主要研究内容有以下几个部分:首先,对词义消歧领域的发展情况进行了阐述,并列举了有代表性的方法。对消歧模型的权威评价体系进行了介绍,并阐述了影响词义消歧研究的仍未解决的问题。其次,介绍了消歧过程中所用到的语料及词典,对语料的解析过程、语料的性能、消歧特征的提取和选择进行了研究。为了判定分类器结果的正确性,研究了两种映射方法。在分析了同义词词林中对语义分类方式后,选择两层语义代码作为消歧特征,以此来优化隐马尔可夫模型,构建了基于隐马尔可夫模型的消歧分类器。最后,将词义消歧看作隐马尔可夫模型的解码问题,提出了基于维特比算法的消歧算法,并详细讲解了算法的计算过程。做了两组实验来评价本文所提出的方法。