BERT在文本分析中的应用研究

• 作 者: 刘创
• 出 处: 郑州大学
• 发表日期: 2004年期
• 关键词: BERT 虚词用法识别 产科电子病历辅助诊断 对话式阅读理解

随着预训练技术的发展和进步,预训练语言模型已经逐渐成为自然语言处理(Natural Language Processing,NLP)领域的新范式。采用预训练语言模型可以得到更好的上下文语义表示,缓解一词多义现象,可采用基于特征或微调的方法应用于不同的任务。而如何根据不同的任务特点应用预训练语言模型,使其适用于不同的应用或者更复杂的任务,是预训练语言模型应用研究中最关注的问题。本文对预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)在三个文本分析任务中的应用进行了探讨,并根据任务的特点提出新的模型,主要研究内容包括:(1)研究了BERT在虚词用法识别中的应用。虚词用法识别任务可以定义成文本单标签分类任务,但与其他文本分类任务相比,虚词用法识别需要模型理解文本中更深层次的语义关系。虚词用法识别主要围绕常见虚词“的”进行研究。实验模型使用BERT在文本分类任务中的模式,结果表明BERT在虚词用法识别中的有效性,F1值相比当前最好的结果提升了5.7%,达到88.5%。同时在更细粒度的分析中还可以看出,BERT有效的缓解了数据不均衡带来的影响。(2)研究了BERT在产科电子病历辅助诊断中应用,并提出了BERT结合增强层(BERT with Enhanced Layer)的模型。本文将辅助诊断视为为文本多标签分类任务,并针对电子病历的复杂性和长文本特性,仅靠原始BERT在文本分类任务中的使用方法并不能有效的涵盖整个病历的信息,提出Enhanced Layer来强化BERT的性能。Enhanced Layer是在BERT的基础上增加一个额外的结构来丰富输入病历的表示,并设计两种策略表示增强层,具体是A策略(注意力策略)和A-AP策略(注意力加平均池化策略)。结果表明,BERT在该任务中取得了很好的效果,F1值达到79.58%,而本文提出的Enhanced Layer中的两种策略分别又在BERT的强基础上提高了0.68%和0.7%。(3)研究了BERT在对话阅读理解任务中的应用,并提出结合对话历史信息的His BERT(BERT with conversation history)模型。His BERT通过对BERT的扩展,将对话历史作为另一个信息源输入,通过与当前问题的交互编码和自编码,使模型更好的处理对话式阅读理解任务,另一方面本文还使用对抗学习的方法在His BERT的词嵌入层增加随机扰动信号来提高模型的鲁棒性。实验表明,对比BERT模型,His BERT使得F1值提升了10.8%,达到了65.2%,达到有竞争力的结果。本文进一步采用消融分析和可视化分析表明His BERT的有效性。