论文部分内容阅读
自然语言推理研究两段文本T与H之间的关系，当人能够根据T中包含的信息推理出H时，就判定从T到H的文本蕴含关系成立。令机器自动完成这一判定在自然语言处理领域中应用广泛，且已在近年来取得连续突破。但这些突破非常依赖标注过的数据集，已有研究(Gururangan et al., 2018;Poliak et al., 2018)表明现有的数据集由于大多源自众包标注，存在一定缺陷，使得模型即使仅利用部分文本信息也能获得较好表现，因此现有数据集并不能作为模型在自然语言推理这项任务上的能力的评价标准。本文则从语言学的角度说明这一问题。大多数现代自然语言推理数据集缺乏体现某些语言现象的数据，其中一种就是自然语言中有相当数量的文本对(T与H)呈现以下特征：T为条件句且H与该条件句的后件紧密相关。即使是人类也很难判别这种文本对之间的关系。
本文以包含上述特征的文本为研究对象，试图回答以下两个问题。一，人类在面对该类文本时能否取得一致判断；二，在人类处理该类文本的过程中，有哪些影响因素。为回答这两个问题，本文建立了一个包含此类文本的数据集并邀请7位标注者对其进行人工标注。本文使用定量及定性方法分析标注结果，发现对大多数该类文本标注者们无法达成一致；人们对H中的情态动词的理解及其对文本主题的熟悉程度可能会影响其最终选择。
通过上述工作，本文揭示了一类语言现象的广泛性与复杂性，从不同于此前研究的角度说明自然语言推理领域的现有数据集存在缺陷。本文还将这一语言现象与逻辑学和认知科学领域的理论联系起来，尝试说明人类在处理此类文本时的相关过程。
本文以包含上述特征的文本为研究对象，试图回答以下两个问题。一，人类在面对该类文本时能否取得一致判断；二，在人类处理该类文本的过程中，有哪些影响因素。为回答这两个问题，本文建立了一个包含此类文本的数据集并邀请7位标注者对其进行人工标注。本文使用定量及定性方法分析标注结果，发现对大多数该类文本标注者们无法达成一致；人们对H中的情态动词的理解及其对文本主题的熟悉程度可能会影响其最终选择。
通过上述工作，本文揭示了一类语言现象的广泛性与复杂性，从不同于此前研究的角度说明自然语言推理领域的现有数据集存在缺陷。本文还将这一语言现象与逻辑学和认知科学领域的理论联系起来，尝试说明人类在处理此类文本时的相关过程。