论文部分内容阅读
任务型对话系统能够指导用户完成特定任务,其对话具备明确的目标,以任务完成情况衡量对话的质量。自然语言理解是任务型对话系统的核心部分之一,主要包括意图识别与槽填充任务,其性能好坏对于任务完成情况有着直接影响。近年,深度学习逐渐成为自然语言处理主流技术,随着众多研究产生进展,已被证明联合建模意图识别与槽填充更加有效,深度学习联合模型已成为自然语言理解研究趋势。随着模型越来越复杂,以及深度学习对数据的依赖性,数据稀缺也成为了自然语言理解的主要障碍之一。因此,本文从数据增强与联合模型两个角度研究自然语言理解问题,本文的主要工作与贡献如下:第一,数据增强要求采集未观察到的样本,近期工作中变分自编码器在生成合理自然的句子方面已获得振奋的效果,并且其中的变分推理可以使其从样本分布中采样出新的未观察样本。基于此本文提出一种联合变分生成模型,其将seq2seq模型融入变分自编码器,通过变分推理采样分布中的未知样本,联合生成完全标注的话语。在模型中,本文将槽与意图的组合视为样式,并利用样式信息控制数据的生成,使得合成数据集的标签分布接近真实分布,同时避免生成单一的数据。实验表明,经过模型增强的ATIS数据在基准预测模型上使槽填充F1分数与意图识别准确率分别提升0.27%与0.6%。第二,现有联合模型大多仅考虑通过联合损失函数在表面级别共享信息,或者仅实现语义级别上单向的信息传输。为此本文提出一种双向交互联合模型,其在语义级别上建立了意图识别与槽填充双向交互的连接,以帮助它们相互促进。模型融合自注意力机制获取上下文感知增强嵌入,并搭载了一种新颖的交互增强网络,为两者建立了直接连接,同时连接中的注意力机制能够帮助获取另一方更有用的信息。此外,本文在交互增强网络内部设计了一种全新的迭代机制,以对双向交互的连接进行增强。实验表明,模型在ATIS数据集上槽填充F1分数与意图识别准确率分别优于Slot-Gated模型0.13%与1.07%。最后,本文将所研究方法应用于一个音乐搜索领域任务型对话系统,完成了其中自然语言理解模块的构建。