论文部分内容阅读
【目的】 解决卷积核宽度与词向量维度相同使得卷积层参数过多的问题和卷积操作的稀疏连接以及卷积的空间不变性和通道特异性不适用于文本任务的问题。【方法】 提出一种基于块注意力机制和involution的文本情感分析模型。模型先对分词后的单个词向量进行变形，将一维词向量变形为n×n词矩阵块，然后将句子中多个词的词矩阵块拼接成句子矩阵。句子矩阵经过块注意力机制层，增强了文本特征的上下文相关性及位序信息，再通过采用具有空间特异性和通道不变性的involution对句子矩阵进行特征提取，最后使用全连接层进行文本情感分类。【结果】 在三个文本情感分析公开数据集waimai＿10k、IMDB、Tweet上的实验表明，该模型在三个公开数据集上分类准确率分别达到88.47%、86.22%、94.42%，与词向量卷积网络和循环神经网络中的Bi-LSTM模型相比准确率分别高出6.47%、7.72%、9.35%和1.07%、1.01%、0.59%。【局限】 该模型在大型数据集上的分类准确度不如中小型数据集上的高。【结论】 引入块注意力机制和involution的文本情感分析模型解决了参数量过多、卷积操作的稀疏连接和卷积的空间不变性和通道特异性的问题，不同数据集上与传统卷积模型比较准确率提高6.47%以上。