基于RNN的不良药物反应文本分类和标注的研究

• 作 者: 丁鹏
• 出 处: 云南大学
• 发表日期: 2020年03期
• 关键词: 不良药物反应 注意力机制 循环神经网络 文本分类 序列标注

不良药物反应是引起患者发病率和死亡率升高的主要原因之一。因此,快速而又准确地从文本中选出包含不良药物反应的样本,并对其包含的不良药物反应进行标注对于药物监管和生物医药领域的研究工作具有非常重要的现实意义。由于循环神经网络RNN非常擅长处理序列数据,因此也成为了不良药物反应文本分类和标注工作中十分重要的方法。对于不良药物反应文本分类,本文提出了基于RNN并且引入了层级注意力机制的神经网络模型,较之前的文本分类模型收敛更快,分类准确率更高;对于不良药物反应标注,本文提出了一种基于RNN的端到端的序列标注模型。除了单词级别的嵌入特征,本文还引入字符级别的嵌入特征,并通过一个嵌入级的注意力机制,让模型在训练过程中能够动态地学习哪个级别的特征对于结果更为重要。最后,本文还把模型中间层的输出作为一个辅助分类器,并将它与模型最终的输出相结合,进一步提高了模型对于不良药物反应文本中OOV词汇的标注性能。在PubMed不良药物反应文本分类数据集上,本文提出的模型取得了0.851的准确率,较之前的文本分类模型有很大的性能提升;本文在两个不良药物反应标注数据集上对模型进行了评估,一个数据集收集自推特用户发表的推文,包含很多不正式的词汇和不规则的语法。另一个数据集采用的是生物医学文献数据库PubMed的论文摘要,涉及很多专业术语和描述。本文提出的模型在这两个数据集上分别取得了0.844和0.906的F1值,是目前现有模型在这两个数据集上的最好效果。由于本文的模型是端到端的,不需要额外的特征设计工作,因此可以被轻松泛化到任意的文本分类和序列标注任务上。