基于ERNIE-RCNN模型的中文短文本分类

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:JERONG971
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于中文短文本存在特征词少、规范性差、数据规模量大等难点,ERNIE预训练模型占用内存大,进行短文本分类时会造成向量空间稀疏、文本预训练不准确、时间复杂度高等问题。针对以上短文本分类存在的问题,提出基于ERNIE-RCNN模型的中文短文本分类。模型运用ERNIE模型作为词向量,对实体和词语义单元掩码,后连接Transformer的编码层,对ERNIE层输出的词嵌入向量进行编码,优化模型过拟合问题,增强泛化能力,RCNN模型对ERNIE输入的词向量进行特征提取,卷积层利用大小不同的卷积核提取大小不同的特征值,池化层进行映射处理,最后通过softmax进行分类。将该模型与七种深度学习文本分类模型在中文新闻数据集上进行训练实验,得到了模型在准确率、精准率、召回率、F1值、迭代次数、运行时间上的对比结果,表明ERNIE-RCNN模型能够很好地提取文本中的特征信息,减少了训练时间,有效解决了中文短文本分类的难点,具有很好的分类效果。
其他文献
党的十八大以来,中央与地方财政按照以习近平同志为核心的党中央对科技创新的部署要求,充分发挥职能作用,出台了一系列支持科技创新的政策举措,有力促进了我国科技创新发展。文章分3个部分从9个方面回顾了10年来财政支持科技创新的基本情况,对未来财政科技事业发展改革进行了展望。
苏政办发[2022]13号各市、县(市、区)人民政府,省各委办厅局,省各直属单位:为深入贯彻习近平新时代中国特色社会主义思想,全面落实党的十九大和十九届历次全会精神,大力实施创新驱动发展战略,加快科技强省建设,根据《国务院办公厅关于改革完善中央财政科研经费管理的若干意见》(国办发[2021]32号)等文件精神,在“科技创新40条”“科技改革30条”的基础上,
期刊
在石油开采中,抽油机的应用频率比较高,不过,在具体运行的过程中,依然会出现诸多的问题,如果抽油机能耗比较大,将会直接影响抽油机节能效果。为了能够节能降耗,需要针对抽油机进行改造,采取有效的节能降耗技术,使抽油机能够达到一定的节能效果。通过抽油机节能降耗目标的实现,能够在根本上促进石油行业的健康发展。本文主要针对抽油机进行了概述,对抽油机功率的影响因素进行了分析,并且对抽油机节能降耗进行了分析,提出
多宝塔碑我在西安碑林讲解了20多年,见过的游客很多是为书法而来。人们一提到书法,男女老幼都会说一句“颜筋柳骨”。这个说法出自宋代大儒范仲淹的《祭石学士文》:“曼卿之笔,颜筋柳骨。散落人间,宝为神物。”很多书家也都有“书法入门,先习颜柳”的说法。柳公权且先按下不提,而颜真卿这位生于盛唐的英雄,亲眼见证了大唐的巅峰,亲笔书写了盛唐书法的经典篇章。
期刊
【作品概况】《颜家庙碑》全称《唐故通议大夫行薛王右柱国赠秘书少监国子祭酒太子少保颜君庙碑铭并序》,是颜真卿唐建中元年(公元780年)为其父颜惟贞所立的家庙碑。颜真卿72岁撰文并书。碑高338.1厘米,宽176厘米。楷书,四面刻,唐代篆书名家李阳冰篆额。书与额世称“双绝”。原碑完好,现藏西安碑林。
期刊
基于区域构造特征、野外露头、钻井、测井等资料,对川中地区寒武系沧浪铺组沉积特征进行了研究,重建了古沉积环境,明确了各沉积相的横向展布特征并预测了有利储层发育区。研究结果表明:(1)川中地区德阳—安岳裂陷槽内发育深水陆棚相,以碎屑岩沉积为主;裂陷槽以东高磨—龙女寺—北斜坡地区为浅水陆棚相,可细分为3种亚相:碳酸盐浅水陆棚亚相以细晶或颗粒灰岩、细晶或颗粒白云岩为主,见古杯、腕足类等生物,自然伽马和电阻