【摘 要】
：
在自然语言处理（Natural Language Processing,NLP）领域中,命名实体识别（Named Entity Recognition,NER）是核心问题之一。从经典机器学习、深度学习再到如今的预训练模型方法,命名实体识别经历的三大发展浪潮也映射了NLP的不同发展阶段。经典机器学习方法如HMM和CRF等,虽然在一些数据集上的实体识别取得了很好的效果,但由于模型经常使用不恰当的生成概
论文部分内容阅读
在自然语言处理（Natural Language Processing,NLP）领域中,命名实体识别（Named Entity Recognition,NER）是核心问题之一。从经典机器学习、深度学习再到如今的预训练模型方法,命名实体识别经历的三大发展浪潮也映射了NLP的不同发展阶段。经典机器学习方法如HMM和CRF等,虽然在一些数据集上的实体识别取得了很好的效果,但由于模型经常使用不恰当的生成概率进行命名实体识别,因此应用范围受限。以LSTM为代表的深度学习方法依赖于语义的学习,文本序列进入模型前首先需要经过嵌入层,这层网络层将序列映射成词嵌入向量。然后模型才能够依靠神经网络的非线性拟合能力,学习从样本到标注的函数,并使用此函数来预测指定样本的每个标注。于是ELMo、BERT等预训练模型应运而生。预训练模型旨在有效的表示文本。它通过模型内部的任务训练模型学习文本中的语义,并获得词嵌入向量表示。为了提升Bi LSTM-CRF模型在NER上的性能,本文对其进行扩展,引入轻量级BERT模型ALBERT,提出一种全新的ALBERT-Bi LSTM-CRF模型（ABC）。ABC模型中,ALBERT可以根据上下文语义,生成带有特征的词嵌入向量,然后将词嵌入向量传递给Bi LSTM模型进行实体识别,CRF层对标注的序列进行约束优化,与Bi LSTM层进行共同解码,从而提升NER的准确性。预训练模型带来的变革效果不言而喻。它通过与不同下游模型的结合,能够解决NLP领域中不同类型问题。过去一个模型解决一个问题的时代一去不复返。但预训练模型同时也带来很多问题,如模型规模巨大、参数量大以及连接下游模型以后更大的调参量等,这些都为训练模型带来了时间和空间消耗大的问题。为解决以上问题,本文继续对ABC模型进行扩展,引入Adapters模块,提出全新的Adapters-ALBERT-Bi LSTM-CRF（AABC）模型。与ABC模型不同的是,AABC模型使用Adapters模块对整体模型进行调参。Adapters模块在模型训练阶段不变,仅在调参阶段对Adapters模块中的参数进行调节。为验证综合调参量的降低,本文在NER的基础上增加了情感分析（Sentiment Analysis,SA）和自然语言推理（Natural Language Inference,NLI）两种自然语言处理领域的重要任务。实验结果显示,AABC模型在3个命名实体公开数据集上达到良好的效果;在1个情感分析数据集和4个自然语言推理数据集上均达到最优效果。在NER数据集上最高可提升8%的F1值。在SNLI数据集上,AABC的参数量与BERT-BC模型相比较,最多降低97%。综上所述,AABC模型结合了经典机器学习、深度学习和预训练模型三种方法的优点,是一种很有潜力的分类模型。同时,命名实体识别是知识图谱构建中的重要步骤之一。除命名实体识别之外,知识图谱构建的重要步骤还包括实体链接、关系抽取等。因此,为验证AABC模型在命名实体识别中的实际效果,本文将AABC模型作为模块之一应用于小规模医疗疾病领域构建,并通过概率模型计算实现简单问答操作,最后连接图数据库Neo4j进行可视化。
其他文献
轮内驱动电动汽车（In-wheel drive electric vehicle,IWD-EV）直接将动力总成安装于轮内或轮边空间,并与转向、悬架等底盘子系统形成轮内集成底盘（Inwheel integrated chassis,IWIC）系统,其在车辆动力学表现及经济性、安全性、多模式行驶功能等各个方面都独具优势。而轮边转向机构作为轮内集成底盘系统中的重要部分,轮边转向机构的工作品质与整车操纵性
中国—东盟自1991年建立对话关系至今,实现了跨越式的发展,成为亚太区域合作中最成功、最具活力的典范。双方互为第一大贸易伙伴,技术及产业合作对职业教育合作需求增加。中国—东盟职业教育合作通过公共外交加强政治合作,通过经济合作助推东盟国家经济腾飞,通过强固交流纽带深化文化互信及互补共促。中国—东盟职业教育合作依然面临挑战,需要进行政策协调,顺畅政府层面合作高效连通,打造多学科、多产业导向的跨国职教教
随着客车行业的迅猛发展以及低碳出行的环保理念日益普遍,客车的轻量化设计对于节省油耗、降低排放、提高电动客车续航里程及电池寿命具有重要意义。因此,本文结合国家重点研发计划项目“高性价比商用车混合动力系统开发与整车集成”（2018YFB0105900）,完成课题“多材料复合结构插电式客车车身轻量化技术研究”,针对某款客车骨架结构,对其进行轻量化优化设计,在保证骨架性能的同时实现减重。本文从TRIZ理论
随着自动驾驶的不断发展,对自动驾驶控制器的算力提出了越来越高的要求,传统的单核处理器已经无法满足自动驾驶的算力需求,而多核处理器开始得到更多的应用。另外,功能安全也是自动驾驶需要解决的一个重要问题,为了提高自动驾驶控制器的功能安全,冗余技术开始逐渐应用于自动驾驶控制器的设计上。因此,本文对多核处理器在自动驾驶控制中的应用以及自动驾驶控制器的冗余设计方法进行研究,提出了基于多核处理器的双冗余自动驾驶
电池SOC和SOH的准确估计,能够有效提高整车动力性与安全性。为了能够实现对SOC和SOH进行准确估计,改进其估计算法是当前的研究热点。本文专注于从电池模型误差的角度出发,提出一种改进的EKF算法,实现电池容量误差的实时在线估计,同时补偿SOC估计值,从而提高SOC的估计精度,并且及时修正可用容量信息,了解电池老化状态。本文研究首先从电池的工作原理出发,研究了容量衰减现象发生的机理以及对电池性能参
智能化,网联化,电动化是汽车产业未来发展趋势。生态驾驶技术作为自动驾驶技术的重要组成,对降低车辆能耗具有重要意义,将生态驾驶技术和V2X车联网技术相结合,可以提前感知道路交通信息,同时结合车辆当前自身运动状态,从而控制车辆生态驾驶实现节能目标。目前生态驾驶技术主要应用于传统燃油汽车上,驾驶员采取生态驾驶策略可以减少突然加速、减速、空加油门和长时间怠速等行为。此外,将生态驾驶技术与车路协同技术结合应
自然环境演变与人类活动增加导致地表景观结构不断发生变化,及时准确地获取这些变化信息有助于环境保护、资源管理等部门更好地开展工作。传统的实地调研方法费时费力,而遥感技术以其覆盖范围广、获取信息速度快、周期短、信息量大等优势,为变化信息遥感检测提供了有效的技术手段,其方法研究作为变化信息遥感检测的重要部分,已经成为遥感图像分析中的一项重要应用,为灾后评估、环境保护、农业生产等工作提供了理论参考和数据支
随着人类社会的不断发展,汽车技术的不断更新,人们对于汽车的操作稳定性的要求越来越高,从中诞生的主动转向技术使得车辆在转弯过程中更加灵活,更加平稳。本文主要针对主动转向技术,包括主动后轮转向、集成线控前轮转向的全主动四轮转向策略的研究以及质心侧偏角的估计模块的搭建,同时针对响应的策略进行仿真实验以及台架硬件在环实验,主要包括如下几个方面:（1）设计主动后轮转向控制策略,在线性二自由度车辆模型的基础上
随着全球气候剧烈变化,洪涝灾害已经成为影响我国作物产量的重要灾害之一,对农业产生的影响严重制约了我国经济发展。监测作物涝害情况已成为国内外研究的重要领域,所以对涝害进行精准、实时高效的监测对于指导农业发展有重要意义,同时对灾后作物恢复和受灾的评估有指导意义。当前,涝灾的研究主要以气象信息和当地实际情况采用传统方法进行监测和预警,且研究方向集中在经济损失和环境安全方面,而针对农作物的涝害研究甚少,这
图像分割是指将图像中的像素按一定的颜色、纹理等规律,形成有意义的区域或目标。图像分割形成的区域内部有一定相似性,不同的区域有一定差异性。图像分割作为计算机视觉中的重要领域,是多种视觉任务的预处理手段,如目标检测、物体定位、医学上的肿瘤检测等等。在这些任务中,图像分割能够提取该任务感兴趣的区域,减少对于图像的计算量。图像分割也是计算机视觉中的难点问题之一,研究成果众多,至今仍然没有完美且通用的分割方