基于深度神经网络的实体和关系联合抽取关键技术研究

• 作 者: 周冠宏
• 出 处: 长沙理工大学
• 发表日期: 2019年01期
• 关键词: 实体和关系联合抽取 序列到序列 复制机制 条件随机场 BERT

随着互联网技术的发展,当今世界正朝着大数据时代迈进,如何准确高效的从海量文本数据中抽取有用的信息显得越发重要。关系抽取作为信息抽取的主要任务,旨在从非结构化的文本中抽取出实体间存在的语义关系,其在构建知识图谱、信息检索和自动问答等领域具有重要的应用价值。传统的方法一般将关系抽取视为一个独立任务,采用串联的方式处理,即在命名实体识别任务的基础上再对关系进行分类。其主要缺点是忽略了命名实体识别和关系抽取这两个任务间存在的关联性,并造成误差的传播,从而影响最终的效果。因此,实体和关系联合抽取技术开始受到学术界和企业界的广泛关注,逐渐成为热门的研究课题。联合的方法虽然能从文本中直接抽取出实体和实体间蕴含的语义关系,但也引入更为复杂的模型结构,且目前研究才刚刚起步,还存在很多亟待解决的问题。本文主要针对基于序列到序列方法的实体和关系联合抽取展开了深入的研究,通过分析目前存在的问题并提出改进。本文主要的研究工作概括如下:一、通过对序列到序列方法的复制机制进行分析,发现其评分函数的缺陷将会导致实体复制时存在不稳定的问题。针对该问题,本文提出一种基于改进复制机制的实体和关系联合抽取模型。通过新设计的评分函数,模型的解码器可以解决在复制前后两个实体时因概率分布相同而导致softmax函数不适用的问题,避免模型对于掩码的高度依赖,从而提升模型的抽取性能。实验结果表明,与基线相比,该模型在实体和关系联合抽取任务上性能有显著提升。二、通过对序列到序列方法输出的结果进行分析,发现对于由多单词构成的实体,其只能抽取实体的最后一个单词作为结果输出。针对上述实体完整性问题,本文提出一种基于多任务学习的实体和关系联合抽取模型。该模型在编码器的输出端构建一个附加的条件随机场CRF层用于序列标注任务。该附加层能对输入句子中的实体进行标注,以此来辅助模型抽取完整的实体。模型通过多任务学习的目标函数对编码器和解码器同时进行训练。实验结果表明,该模型有效解决了实体的完整性问题,并取得了性能的提升。三、针对传统的静态词向量Word2vec无法表示自然语言中广泛存在的一词多义的问题,本文提出一种基于BERT的实体和关系联合抽取模型。通过引入基于上下文语境的BERT动态词嵌入表示作为模型的输入,为模型提供更精准的语义特征信息。实验结果证明,BERT词向量表示能显著提升联合抽取模型的性能。