论文部分内容阅读
隐式篇章关系识别作为篇章分析中的关键子任务，其旨在推理出篇章内相邻文本跨度(称为论元)之间潜在的语义关系，例如：时序关系、因果关系等。该任务有助于提高情感识别、问答系统、机器翻译和文本挖掘等任务的性能，促进自然语言处理领域中篇章级的基础研究和应用发展。目前，隐式篇章关系识别的方法通常关注于篇章的语义表征，忽略了文本中词汇之间、短语之间、句子之间，甚至与文本关联的深层知识之间的相互影响，不能有效地整合多层次的篇章关系线索，导致未能获得较为满意的隐式篇章关系识别性能。本文受到认知心理学和语言学相关理论的启发，从篇章自身的浅层语言特征到与之相关联的深层知识表示，逐步深入地挖掘不同层次的篇章关系线索，研究如何有效利用这些线索以改善隐式篇章关系识别的性能。本文主要工作如下：
(1)如何合理地表征篇章论元是隐式篇章关系识别的关键问题。考虑到不同粒度的篇章构成单元含有不同的语义信息，本文提出一种基于动态分块池化的混合神经网络模型以获取丰富的篇章论元表征。宏观上，在编码篇章论元的上下文全局特征的同时，捕获不同范围内的局部信息；微观上，在每个篇章论元的建模过程中，根据论元的长度以及所在网络的结构，动态地划分论元并进行池化操作，在扩大范围的各“N-gram”中选择特征映射中的最大值，即得到不同粒度信息的关键特征，同时该操作能够避免在表示过程中信息丢失问题，从而捕获不同粒度的浅层语言特征(即词汇、短语、句子)线索，以提升模型识别隐式篇章关系的能力。在中英文篇章语料(HIT-CDTB和PDTB)上的相关实验，验证了所提出的混合神经网络模型的有效性。
(2)如何有效地挖掘篇章论元之间交互关联信息是篇章关系识别的核心要素。由于研究(1)中所获得篇章论元的浅层语言特征线索均是独立的，为了进一步探究篇章论元之间的交互关联特征，本文提出基于语境交互感知和模式筛选的神经网络模型以识别隐式篇章关系。受到人们阅读策略的启发，通过手动构建静态交互注意力矩阵，建模篇章论元之间非对称的内在关联特征，并使用带有稀疏约束的张量神经网络挖掘具有指示性的篇章关系模式。考虑到静态注意力对关联特征捕获的局限性，本文进而设计动态交互注意力机制以充分地刻画篇章论元之间非对称的关联特征，从而获得更多篇章论元之间的交互关联线索，以改善隐式篇章关系的识别能力。最后，该模型在PDTB语料上的实验结果表明其获得了显著的性能提升。
(3)隐式篇章关系根植于篇章的语义理解，该过程不能脱离与其相关的深层知识而存在。因此，本文从认知科学角度切入，模拟人们在言语习得或文本理解过程中大脑的工作记忆策略，提出基于工作记忆驱动知识增强的神经网络模型以加深篇章的语义理解和关系识别。该模型打破了现有知识增强的固有模式，通过隐式和显式两种形式进行“瞬时记忆”和“长期记忆”的建模，以构成新颖的知识增强范式，从而获取篇章所关联的深层知识线索，以促进篇章论元的深层语义表示和论元之间语义关联的深入理解。大量实验表明，相较于其他对比模型，本文知识增强的神经网络模型在丰富篇章论元表示的同时，获得了隐式篇章关系识别能力的改善。
综上，本文首先提出基于动态池化的混合神经网络模型以建模篇章的全局和局部特征，并捕获了不同粒度的篇章浅层语言特征线索。在此基础上，考虑到篇章论元之间的交互关联特性以及篇章关系可能具有的特定关系模式，建立基于语境交互感知和模式筛选的神经网络模型，进一步获取篇章论元之间的交互关联线索。然后，由于篇章不能独立于其关联的知识而存在，本文设计新的知识增强范式，构建基于工作记忆驱动知识增强的神经网络模型，有效融合深层的知识线索，从而丰富篇章论元的语义表示，提升篇章关系的识别能力。这三个模型同源于隐式篇章关系识别任务，逐步深入地展开对篇章关系相关线索的挖掘，为篇章分析相关研究提供了重要的模型参考，具有理论研究和实际应用的价值。
(1)如何合理地表征篇章论元是隐式篇章关系识别的关键问题。考虑到不同粒度的篇章构成单元含有不同的语义信息，本文提出一种基于动态分块池化的混合神经网络模型以获取丰富的篇章论元表征。宏观上，在编码篇章论元的上下文全局特征的同时，捕获不同范围内的局部信息；微观上，在每个篇章论元的建模过程中，根据论元的长度以及所在网络的结构，动态地划分论元并进行池化操作，在扩大范围的各“N-gram”中选择特征映射中的最大值，即得到不同粒度信息的关键特征，同时该操作能够避免在表示过程中信息丢失问题，从而捕获不同粒度的浅层语言特征(即词汇、短语、句子)线索，以提升模型识别隐式篇章关系的能力。在中英文篇章语料(HIT-CDTB和PDTB)上的相关实验，验证了所提出的混合神经网络模型的有效性。
(2)如何有效地挖掘篇章论元之间交互关联信息是篇章关系识别的核心要素。由于研究(1)中所获得篇章论元的浅层语言特征线索均是独立的，为了进一步探究篇章论元之间的交互关联特征，本文提出基于语境交互感知和模式筛选的神经网络模型以识别隐式篇章关系。受到人们阅读策略的启发，通过手动构建静态交互注意力矩阵，建模篇章论元之间非对称的内在关联特征，并使用带有稀疏约束的张量神经网络挖掘具有指示性的篇章关系模式。考虑到静态注意力对关联特征捕获的局限性，本文进而设计动态交互注意力机制以充分地刻画篇章论元之间非对称的关联特征，从而获得更多篇章论元之间的交互关联线索，以改善隐式篇章关系的识别能力。最后，该模型在PDTB语料上的实验结果表明其获得了显著的性能提升。
(3)隐式篇章关系根植于篇章的语义理解，该过程不能脱离与其相关的深层知识而存在。因此，本文从认知科学角度切入，模拟人们在言语习得或文本理解过程中大脑的工作记忆策略，提出基于工作记忆驱动知识增强的神经网络模型以加深篇章的语义理解和关系识别。该模型打破了现有知识增强的固有模式，通过隐式和显式两种形式进行“瞬时记忆”和“长期记忆”的建模，以构成新颖的知识增强范式，从而获取篇章所关联的深层知识线索，以促进篇章论元的深层语义表示和论元之间语义关联的深入理解。大量实验表明，相较于其他对比模型，本文知识增强的神经网络模型在丰富篇章论元表示的同时，获得了隐式篇章关系识别能力的改善。
综上，本文首先提出基于动态池化的混合神经网络模型以建模篇章的全局和局部特征，并捕获了不同粒度的篇章浅层语言特征线索。在此基础上，考虑到篇章论元之间的交互关联特性以及篇章关系可能具有的特定关系模式，建立基于语境交互感知和模式筛选的神经网络模型，进一步获取篇章论元之间的交互关联线索。然后，由于篇章不能独立于其关联的知识而存在，本文设计新的知识增强范式，构建基于工作记忆驱动知识增强的神经网络模型，有效融合深层的知识线索，从而丰富篇章论元的语义表示，提升篇章关系的识别能力。这三个模型同源于隐式篇章关系识别任务，逐步深入地展开对篇章关系相关线索的挖掘，为篇章分析相关研究提供了重要的模型参考，具有理论研究和实际应用的价值。