论文部分内容阅读
文本否定范围识别是信息抽取领域的一项重要任务。该任务可以为许多其他自然语言处理领域的任务提供帮助,比如情感分析、医学数据挖掘,关系抽取和问答系统等。由于否定词的使用容易将积极的表述转化成相反的意思,从而带来错误的预测和理解,因此近几年来否定范围的自动识别任务在学术界引发了广泛的关注,并存在许多亟待解决的问题。本篇博士论文中,我们将通过应用不同的机器学习方法和基于神经网络的方法,抽取句子中否定线索(即否定词)和识别出相应的否定范围(即受到否定线索影响的词语),从而来解决自然语言处理领域中否定范围识别这一前沿问题。我们重点研究如何构建一个较少依赖于手工设计的特征,同时更专注于发掘有力的否定线索与否定范围识别器的系统。进一步,我们将否定范围识别模型应用于情感分析系统中,来证实文本否定范围识别模型有利于提高情感分类的性能。我们提出了基于CRF(条件随机场)的否定线索和否定范围识别方法。该方法将研究任务转换为序列标注问题,将其分解为两个子任务,一个是否定线索识别,另一个是否定范围识别。对于每一个子任务,我们都采用CRF模型来解决。CRF模型基于从句法或上下文中提取出来的简单的特征集合来进行建模,最终基于该模型进行否定线索和否定范围识别。我们提取到的特征有能力在降低特征工程工作量的同时,保留住否定线索和否定范围中的词之间的关系信息。这种方法优于在同领域的其他所有方法。我们基于循环神经网络和词向量提出了一种新的否定范围识别方法。这个工作对比了不同循环神经网络(如:LSTM,Bi-LSTM和GRU)和其他机器学习方法(如:CRF)在否定范围识别任务上的效果。不同神经网络模型的输入是一个句子和句中所有词语的词向量表示。这个工作的创新点在于,在我们所接触到的文献中,我们是第一个将神经网络用于否定范围识别任务上。此外提出的方法的效果在SFU评论数据集上超过了现有的方法,从而证明了循环神经网络在不引入额外特征的前提下,效果远好于其他机器学习的方法。我们将之前的循环神经网络模型与卷积神经网络结合在一起来捕捉不同类型的信息,从而在不引入额外特征的前提下,提高解决否定范围识别的能力和增强神经网络模型的鲁棒性。这个方法中的循环神经网络(如,Bi-LSTM)可以自动捕捉到与句子有关的上下文特征,卷积神经网络从否定线索与待选受到影响的词中最短句法路径(如,依存关系或短语结构)上捕捉句法特征。我们提出的方法在否定范围识别任务上被证明是具有鲁棒性的,并且在生物医药领域数据上我们的方法达到了最好的效果。最后,我们将否定线索识别和否定范围识别的结果用于情感分类任务上。这个工作中,我们复现了一个基于神经网络的情感分类模型,并比较了采用传统否定词方法和采用我们提出的否定范围识别方法。结果表明否定范围识别有利于情感分类性能的提升,且我们提出的否定范围识别模型比传统的否定词识别方法更有效。