【摘 要】
：
文本分类作为自然语言处理领域的基础研究,在互联网上的文本数据呈指数增长的今天,有着重要的研究意义和广泛的应用前景。深度学习在近几年逐渐取代传统机器学习方法成为文本
论文部分内容阅读
文本分类作为自然语言处理领域的基础研究,在互联网上的文本数据呈指数增长的今天,有着重要的研究意义和广泛的应用前景。深度学习在近几年逐渐取代传统机器学习方法成为文本分类领域的主流研究方向。本文的研究主要集中在用复杂的神经网络架构模拟语义组合方式,即从词表示开始使用各种神经网络架构(主要是卷积神经网络、循环神经网络及注意机制)逐层向上学习文本语义表示。鉴于循环神经网络和卷积神经网络分别在提取全局特征(如长时依存关系)和局部特征上的优势,本文提出融合双向LSTM和Inception模块的BLSTM-Inception v1架构。该架构中的正向和反向LSTM输出的隐状态序列被串连成双通道,可以避免直接相加而造成的信息损失。BLSTM-Inceptionv1架构使用全局最大池化提取文本表示,可以有效避免特征图中大量噪声的干扰并明显减少softmax层的参数量。本文在五个文本分类任务上所做的大量实验表明BLSTM-Inceptionv1模型胜过近两年提出的主流深度网络模型。由于词必须结合上下文构成短语才具有明确语义,所以使用注意机制学习短语的权重来合成的文本语义表示要比学习词的权重来合成的更准确。因此,本文提出基于短语注意机制的神经网络框架NN-PA。相比基于词注意机制的双向LSTM架构,NN-PA的主要改进是在词嵌入层后使用卷积提取局部短语表示。此外,本文还尝试了五种注意机制,其中三种改自神经机器翻译使用的注意机制。本文在五个文本分类任务上所做的大量实验表明基于前两种注意机制的NN-PA模型胜过近两年提出的主流深度网络模型。
其他文献
随着日益增长的计算性能需求和对多任务同时处理能力的渴望,被集成在单个芯片上的处理核数量将越来越多。在芯片上有限的功率预算下,芯片上各处理单元的高速信息处理和数据并
客流预测在城市轨道交通系统运营管理过程中处于举足轻重的地位,是合理部署运输资源、优化列车开行方案、指导日常运输组织及经济效益评价的重要前提。随着信息采集技术、计算能力以及人工智能等的快速发展,短时客流推演的准确性在成网条件下尤为关键。因此,围绕这一问题,本文以AFC系统数据为基础,重点研究城市轨道交通站点进站客流的时空特征与预测模型。主要工作和成果如下:(1)进站客流时空特征分析针对城市轨道交通进
江西現存舊志數量,學者統計不一。論文討論各目錄書著錄不同的原因:(1)收書範圍不同;(2)著錄標準不一;(3)收錄考證不細。論文取眾家目錄所載方志,刪去新志、亡佚舊志、未見舊志、1佚成果、重複及錯)書目,重新釐定《江西舊志存書目錄》。計得江西舊志549部,其中,明代62部、清代443部、民國42部。含方言資料江西舊志(為行文方便,如無特殊說明,以下簡稱為“江西方言舊志”。)共8部。《中國地方志綜錄
随着经济全球化的发展,文化和语言也逐步走向全球化。汉语作为中华语言符号,代表中国文化走出国门,汉语学习也成为世界范围内语言学习的新风尚。根据孔子学院年度发展报告显示(1),截止到2018年底,全球范围内已有548所孔院,1193个孔子课堂和5665个教学点,其中美洲25个国家设立孔子学院共161所,美国孔院起步早发展快,是全球孔子学院和孔子课堂数量最多的国家。同一年底,中国国家汉语国际推广领导小组
全球化背景下,国际贸易的快速发展令许多企业都面临融资问题,极力争取上市成为大多数企业谋求长远发展的一种途径。然而,企业的成功上市需要处理好与投资者的关系,它们有义务定期将其招股说明书公布在相关网站上供投资者参考。2018年7月,天境生物科技(上海)有限公司委托笔者暑假实习所在公司(宜昌佳译公司)为其翻译英文版招股说明书的风险因素,笔者有幸参与其中。在翻译过程中,笔者发现招股说明书文本十分严谨,存在
通过测量辐射信号的波达方向(DOA全称Direction Of Arrival)来估计辐射源的位置是测向、定位等系统的关键技术,也是阵列信号处理的一个重要分支,广泛应用于卫星导航、无线通
无人机器人导航领域的发展迅速,与之相关的成果已相对较多,出现了各种导航方法。虽然因可实现全天候工作、以及完全自主等突出优势,IMU(Inertial Measurement Unit,惯性测量
随着当前互联网规模的不断扩大,其网络架构的僵化问题日益突出,阻碍了互联网的进一步发展,网络虚拟化技术被认为是解决网络僵化问题的有效手段。另外,云计算、大数据、物联网
城市水景观作为提高城市质量、带动城市可持续发展的重要因素,对改善城市沿岸的生态环境、塑造优美的城市景观、提供城市居民更高品质的生活空间、促进投资、推动相关产业蓬勃发展、带动城市及周边地区的无限发展等方面起着重要作用。本文以枝江市五柳湖公园为研究对象,研究城市水景观要素解析,建立评价体系,构建评价指标库,并在此基础上,分析了五柳湖水景观包含的要素,建立了五柳湖水景观评价指标体系,对五柳湖水景观现状进
随着社会的不断进步和计算机技术的不断发展,信息化在提升企业生产力上发挥着越来越重要的作用,用信息化来管理企业、指导生产势在必行。企业信息化是指企业以业务流程的优化