论文部分内容阅读
在大数据和深度学习技术发展的带领下,神经网络机器问答系统的交互水平得到了长足进步,该领域也越来越引起人们的注意,深度学习神经网络的飞速进步也极大地推进了人机对话系统的落地进程。随着人们生活的智能化,智能对话设备不断进入人们的视线,为人们提供信息服务,交互操控和聊天娱乐等功能。本文主要研究神经网络问答模型融合主题模型的问答系统,传统神经网络运用到开放问答领域存在很多问题,其中之一就是容易生成简单宽泛且无区别性的回复,原因是模型在生成回复时既不能感知上下文又没有外源知识的补充。为了让神经网络问答系统能够生成丰富多样的响应,本文从神经网络Seq2Seq问答模型和主题模型方面展开研究:(1)LDA是一种提取文本主题词的算法,通过中文语料库训练的LDA模型能够把每组对话当作短文本进行主题词提取,将LDA提取的主题词引入到神经网络Seq2Seq问答模型作为外源知识,因此问答模型除了能够学习训练语料库的问答模式外,还可以动态地利用主题词来生成回复,促使生成的响应内容丰富多样。(2)将提取的主题词融合到神经网络Seq2Seq问答模型得到神经网络主题问答模型,并在自制的中文语料库上训练。传统的神经网络Seq2Seq问答模型难以感知上下文,本文对该模型进行改进,加入了联合注意力机制,该注意力机制包括主题注意力机制和双向注意力流机制。该机制可以让解码器在生成答案时可以有效地利用上下文语义和主题语义,促使生成的回复与上下文相关性更强并且与主题相关。(3)启发于机器理解领域问句与上下文之间的处理机制,将双向注意力流网络引入神经网络Seq2Seq问答模型提出了注意力增强主题模型。双向注意力流机制的输入包括经过问句编码器编码的上下文部分和问句部分,由于上下文不同词对问句的生成起着不同的作用,上下文经问句编码器编码的中间向量通过问句注意力机制来关注不同词的重要性,最后通过上下文编码器流入到双向注意力流网络。双向注意力流机制能够捕捉上下文与问句之间的联系,使得解码器能够生成与问句更密切的回复。最后经自制的语料库训练该模型,实验结果对比其他主流问答模型验证了该模型的有效性。