基于注意力卷积的神经机器翻译研究

• 作 者: 汪琪
• 出 处: 苏州大学
• 发表日期: 2019年01期
• 关键词: 神经机器翻译 卷积神经网络 注意力机制 模型融合

随着社会和科技的发展,机器翻译已成为人们日常生活中不可或缺的一部分。近年来,随着深度学习的发展,利用神经网络的机器翻译逐渐成为目前工业界与学术界的主流方法。现有的神经机器翻译普遍是采用基于注意力机制的编码器-解码器框架的序列到序列的翻译模型,注意力机制是通过注意力权重分布将目标端预测单词与源端语句联系起来,在每一时刻,注意力机制都会将其与源端所有单词的相关信息进行更新以得到针对当前时刻的注意力权重分布,用于帮助预测目标端单词的输出。注意力机制是当前神经机器翻译系统不可或缺的一部分,因此一个更加有效的注意力权重分布信息有助于机器翻译效果的提升。针对神经机器翻译模型注意力权重分布优化的问题,本文提出在注意力机制上建立多层卷积神经网络的方法,对基于注意力卷积的神经机器翻译模型进行深入研究。本文从当前时刻注意力信息、历史时刻注意力信息的角度出发,充分获取注意力信息对目标端翻译的帮助,旨在提高机器翻译的性能。在建立多层卷积神经网络的过程中:首先,对当前时刻注意力信息进行卷积,建立新的卷积层与激活函数,通过多组对比实验,测试出不同卷积核形状与卷积层参数对机器翻译结果的影响;其次,对历史时刻注意力信息进行卷积,将卷积网络从一维提升到二维,不仅考虑源端语句对应目标端单词的注意力信息,同时将目标端语句对应源端单词的注意力信息纳入整体运算过程中,利用两者之间的信息交互将短语层级的注意力信息提升为短语块级的注意力信息;最后,采用集成学习的方法对多种模型进行融合解码输出,采用均值化与固定比重参数的方法对选中的模型进行融合,增强整体预测概率的准确性。本文的实验结果表明,基于注意力卷积的神经机器翻译可以有效提高机器翻译的质量,通过模型融合的方法可以进一步提高机器翻译的准确率。