论文部分内容阅读
方面级情感分类旨在识别一个句子关于给定方面表达出来的情感极性，目前，实现该任务的主流方法之一是基于深度学习的方面级情感分类模型。本论文在对现有基于深度学习的方面级情感分类模型进行深入分析后，发现这些方法存在以下几点不足之处：
第一，在方面级情感分类模型中，基于循环神经网络的注意力模型性能较优，但模型在编码过程中对数据进行顺序处理，不能并行运行数据，计算效率低。
第二，现有的深度学习模型中上下文与方面词之间的交互没有充分实现，这在很大程度上限制了模型的有效性。
第三，目前主流的模型大多没有充分分析词的贡献，常用的Word2vec、Glove词嵌入方法无法表达同一词在不同语境下的语义，从而生成的词向量无法准确表达上下文的语义。
在对上述问题进行深入分析和研究的基础上，本文提出了基于多头注意力（MHA）的方面级情感分类模型（SCBMA）。论文的主要工作如下：
①充分利用多头注意力。采用高效的MHA和卷积运算代替传统的神经网络获得隐藏状态，然后通过平均池化和MHA进一步实现上下文与方面词之间的交互，提出基于多头注意力的方面级情感分类模型（SCBMA）。
②提升词向量的质量。通过预训练的BERT模型捕捉字符级、词级、句子级、句间等复杂关系，得到每个词丰富的特征，为下游任务提供扎实的基础。将针对特定任务设计的SCBMA模型应用于BERT模型（SCBMA-BERT），BERT模型通过对特定任务进一步微调，能够更好地释放BERT的性能。
③在方面级情感分类领域广泛应用的3个数据集上进行了实验，且与目前几种先进的方面级情感分类方法进行了对比，结果表明本论文提出的模型实验结果优于其它对比方法，证明本论文提出的模型在不同领域的数据集上实验的准确率及macro-F1值均有提高。
第一，在方面级情感分类模型中，基于循环神经网络的注意力模型性能较优，但模型在编码过程中对数据进行顺序处理，不能并行运行数据，计算效率低。
第二，现有的深度学习模型中上下文与方面词之间的交互没有充分实现，这在很大程度上限制了模型的有效性。
第三，目前主流的模型大多没有充分分析词的贡献，常用的Word2vec、Glove词嵌入方法无法表达同一词在不同语境下的语义，从而生成的词向量无法准确表达上下文的语义。
在对上述问题进行深入分析和研究的基础上，本文提出了基于多头注意力（MHA）的方面级情感分类模型（SCBMA）。论文的主要工作如下：
①充分利用多头注意力。采用高效的MHA和卷积运算代替传统的神经网络获得隐藏状态，然后通过平均池化和MHA进一步实现上下文与方面词之间的交互，提出基于多头注意力的方面级情感分类模型（SCBMA）。
②提升词向量的质量。通过预训练的BERT模型捕捉字符级、词级、句子级、句间等复杂关系，得到每个词丰富的特征，为下游任务提供扎实的基础。将针对特定任务设计的SCBMA模型应用于BERT模型（SCBMA-BERT），BERT模型通过对特定任务进一步微调，能够更好地释放BERT的性能。
③在方面级情感分类领域广泛应用的3个数据集上进行了实验，且与目前几种先进的方面级情感分类方法进行了对比，结果表明本论文提出的模型实验结果优于其它对比方法，证明本论文提出的模型在不同领域的数据集上实验的准确率及macro-F1值均有提高。