融合主题预测的多轮对话回复生成

• 作 者: 王纯宇
• 出 处: 哈尔滨工业大学
• 发表日期: 2020年02期
• 关键词: 多轮对话 回复生成 主题模型 主题预测 通用回复

近年来,开放域对话系统的研究受到了学术界和工业界的广泛关注。一方面人机对话系统是人工智能一个重要的体现形式,对其进行深入研究有利于推动人工智能和自然语言领域的发展;另一方面开放域对话系统有着重要的应用价值,其可以满足用户交流的需求,在自动客服领域的应用可以起到顺滑对话过程,提高用户粘性,降低人力成本的作用。作为对话系统一种主要的技术路线,生成式对话也成为了当前研究的重点和热点。虽然生成式对话系统的核心技术在不断发展,然而实际应用中各系统普遍存在着“通用回复”(Generic Response)问题,倾向于给出“哈哈”、“我也是”等语义丰富度较低的回复,难以保证对话的趣味性和可持续性。此外,已有研究工作多数针对单轮对话开展,难以满足真实对话场景中对于对话历史语境信息的要求。本文以多轮对话中的主题变化为切入点,通过对话历史预测回复的主题信息,然后将其加入到回复的生成过程,从而利用主题信息使生成回复信息更加丰富,提升对话系统的性能。主要进行了以下三项研究工作:(1)面向短文本对话的主题模型构建。针对社交媒体对话文本短小、口语化严重导致的难以挖掘隐含主题信息的问题,使用“伪长文档”方法构建主题模型的训练语料,并结合TextRank方法去除对话文本中的无意义词,使用困惑度获取合适的语料主题数量,构建了一个适合社交媒体短文本对话的主题模型。(2)面向多轮对话的回复主题预测。提出一种循环神经网络与卷积神经网络相结合的主题预测模型,对卷积层及池化函数进行优化,通过挖掘对话中的主题变化趋势,进行回复语句的主题预测,在实验测试集上取得了良好的效果。(3)融合主题预测的多轮对话回复生成。基于前两章的研究内容,提出融合主题预测的多轮对话回复生成模型(TPJA-Seq2Seq),使用结合自注意力机制的层次模型进行对话历史表示,并联合预测的回复主题、对话历史以及当前问句(query)三者的注意力生成回复语句。模型在自动评价指标上以及回复样例中均表现良好,符合本文的预期效果。