论文部分内容阅读
人机对话与问答，是指让机器能够理解并运用人类语言进行人机互动交互。通过对话与问答交互方式，人类可以从计算机获得实时信息查询、问题解答、任务办理以及闲聊对话等服务。近年来，随着移动互联网和高速网络通信的发展，人机交互日益渗透到人类生活的方方面面，因此也受到了学术界和工业界的广泛关注。
已有的人机对话问答研究，主流算法是从自然语言处理语义分析角度出发，利用所查询问题与备选答案之间，或者是对话上文与下文之间的语义匹配相关度来进行探索。这些算法模型框架，通常在深度神经网络模型中做各种组件堆叠，包括循环神经网络、卷积神经网络、记忆网络、多种注意力机制结合等方式进行大量实验，以获得最佳模型效果。尽管这些方法已经取得了令人瞩目的进展，仍然面临着诸多挑战:(1)在人机对话问答交互过程中，没有考虑用户个胜化的主观需求，因此算法给出的结果千篇一律，无法做到千人千面。(2)对话与问答内容通常以短文本形式存在，仅仅从词法、句法等语言模型层面进行语义理解，由于所提供的信息有限，无法进一步提高算法的性能。(3)让机器学会跟人一样进行思考与回答，需要参考人类的思维和行为方式。以往做法往往以实验导向为模型构建标准，无法很好地利用人类专家知识和模仿人类行为在模型框架设计上体现。(4)人机对话与问答，需要关注上下文语境对于当前状态的影响。如何像人类一样对于上下文有深层次的认知和逻辑推理能力，现有方法还有待改善。
基于以上几大挑战，提出了“以人为本”的思想宗旨，充分分析人类在对话问答场景中，是如何进行思考和认知，从人类通识行为以及人类个性化行为两个角度来指导计算机人机交互。分别进行了用户画像、用户社交网络、用户思维认知、用户行为指导四个工作的调研，在实际应用场景中验证我们的思想，在不同对话与问答任务中提升了模型的推理与预测能力。具体而言，做了以下几个工作:
针对用户个性化需求问题，提出了结合用户画像和多示例深度学习框架，在用户对社区问答服务答案满意度预测任务中进行了验证。认为一个被解决的问题，至少包含一个满意答案，即多示例学习概念中一个正包中至少有一个正例，符合弱监督模式下的多示例学习的设想。通过结合用户画像建模与基于深度学习的文本语义表征，在神经张量网络中进行了个性化的满意度预测。实验证明所提出的框架MIDL结合用户画像和多示例深度学习框架的有效性。
针对对话问答短文本数据稀疏问题，提出了结合用户社交网络附加信息和深度学习框架，在社区问答服务相似问题检索任务中进行了验证。认为用户的社交网络信息可以体现该用户的喜好与关注点，可以为社区问答相似问题检索提供有价值的附加信息。通过结合用户社交网络信息、问题的类别信息以及问题本身的语义信息，采用了基于随机游走的异构网络深度学习框架进行相似问题检索。实验证明所提出的框架HSIN能有效缓解相似问题检索任务的短文本稀疏表征问题。
针对模仿人类专家知识在模型设计上的问题，提出了结合交互式注意力机制、记忆网络和自查机制的深度学习框架，在抽取式问答阅读理解任务中进行了验证。认为人类在做阅读理解题目时所进行的阅读方法具有科学参考意义，因此深入研究了人类进行阅读理解过程的思维方式。发现了对于问题和答案的多轮交互式学习，对于词层面的细粒度理解和最后的答案检查，都能有效提高阅读理解的正确率。实验证明所提出的框架Smarnet能在抽取式阅读理解任务上取得良好的性能表现。
针对学习人类对上下文感知的逻辑推理问题，提出了结合结构化注意力网络和条件随机场深度学习框架，在对话行为识别任务中进行了验证。认为在人机对话场景中上下文语境的感知依赖对于对话理解至关重要。通过参考人类在对话中以对话隐式分割和隐式组合的方式进行上下文感知，提出将条件随机场与结构化注意力机制结合的方式进行上下文结构化依赖学习。实验证明所提出的框架CRF.ASN能在对话行为识别任务上比其他前沿方法对上下文感知能力更强。
已有的人机对话问答研究，主流算法是从自然语言处理语义分析角度出发，利用所查询问题与备选答案之间，或者是对话上文与下文之间的语义匹配相关度来进行探索。这些算法模型框架，通常在深度神经网络模型中做各种组件堆叠，包括循环神经网络、卷积神经网络、记忆网络、多种注意力机制结合等方式进行大量实验，以获得最佳模型效果。尽管这些方法已经取得了令人瞩目的进展，仍然面临着诸多挑战:(1)在人机对话问答交互过程中，没有考虑用户个胜化的主观需求，因此算法给出的结果千篇一律，无法做到千人千面。(2)对话与问答内容通常以短文本形式存在，仅仅从词法、句法等语言模型层面进行语义理解，由于所提供的信息有限，无法进一步提高算法的性能。(3)让机器学会跟人一样进行思考与回答，需要参考人类的思维和行为方式。以往做法往往以实验导向为模型构建标准，无法很好地利用人类专家知识和模仿人类行为在模型框架设计上体现。(4)人机对话与问答，需要关注上下文语境对于当前状态的影响。如何像人类一样对于上下文有深层次的认知和逻辑推理能力，现有方法还有待改善。
基于以上几大挑战，提出了“以人为本”的思想宗旨，充分分析人类在对话问答场景中，是如何进行思考和认知，从人类通识行为以及人类个性化行为两个角度来指导计算机人机交互。分别进行了用户画像、用户社交网络、用户思维认知、用户行为指导四个工作的调研，在实际应用场景中验证我们的思想，在不同对话与问答任务中提升了模型的推理与预测能力。具体而言，做了以下几个工作:
针对用户个性化需求问题，提出了结合用户画像和多示例深度学习框架，在用户对社区问答服务答案满意度预测任务中进行了验证。认为一个被解决的问题，至少包含一个满意答案，即多示例学习概念中一个正包中至少有一个正例，符合弱监督模式下的多示例学习的设想。通过结合用户画像建模与基于深度学习的文本语义表征，在神经张量网络中进行了个性化的满意度预测。实验证明所提出的框架MIDL结合用户画像和多示例深度学习框架的有效性。
针对对话问答短文本数据稀疏问题，提出了结合用户社交网络附加信息和深度学习框架，在社区问答服务相似问题检索任务中进行了验证。认为用户的社交网络信息可以体现该用户的喜好与关注点，可以为社区问答相似问题检索提供有价值的附加信息。通过结合用户社交网络信息、问题的类别信息以及问题本身的语义信息，采用了基于随机游走的异构网络深度学习框架进行相似问题检索。实验证明所提出的框架HSIN能有效缓解相似问题检索任务的短文本稀疏表征问题。
针对模仿人类专家知识在模型设计上的问题，提出了结合交互式注意力机制、记忆网络和自查机制的深度学习框架，在抽取式问答阅读理解任务中进行了验证。认为人类在做阅读理解题目时所进行的阅读方法具有科学参考意义，因此深入研究了人类进行阅读理解过程的思维方式。发现了对于问题和答案的多轮交互式学习，对于词层面的细粒度理解和最后的答案检查，都能有效提高阅读理解的正确率。实验证明所提出的框架Smarnet能在抽取式阅读理解任务上取得良好的性能表现。
针对学习人类对上下文感知的逻辑推理问题，提出了结合结构化注意力网络和条件随机场深度学习框架，在对话行为识别任务中进行了验证。认为在人机对话场景中上下文语境的感知依赖对于对话理解至关重要。通过参考人类在对话中以对话隐式分割和隐式组合的方式进行上下文感知，提出将条件随机场与结构化注意力机制结合的方式进行上下文结构化依赖学习。实验证明所提出的框架CRF.ASN能在对话行为识别任务上比其他前沿方法对上下文感知能力更强。