融合上下文信息的文本分类算法的研究及应用

• 作 者: 郭诗瑶
• 出 处: 北京邮电大学
• 发表日期: 2019年01期
• 关键词: 文本分类 上下文信息 注意力机制

文本分类任务作为文本挖掘的核心,已成为自然语言处理领域的一个关键问题。面对互联网上的文本资源爆炸式增长的趋势,如何有效的利用文本数据,挖掘其背后的商业价值和研究价值,具有非常重要的意义。在此背景下,本文以序列型文本数据作为研究对象,提出了两种融合上下文信息的文本分类算法。近年来,深度学习技术在特征提取和表示方面已经有了很大进展,且在大多数自然语言处理任务中获得了令人满意的成果。但是,结合国内外研究现状,在目前对深度学习的研究中,大多数的文本分类算法没有考虑到文本的上下文句子信息,并将其作为额外信息的补充利用,然而,如果给出一个没有任何语境的句子,即使人为的判断类别也有一定的困难。针对以上问题,本文提出了两种分类算法,一种是基于CNN的注意力机制融合上下文信息的文本分类算法,另外一种的基于BLSTM的注意力机制融合上下文信息的文本分类算法,通过从句子层面和词层面分别设计的注意力结构将上下文信息融合进最终的特征表示中,增加了特征信息的多样性。同时为了验证两种算法的可行性,本文首先使用了开源对话数据集进行实验,验证了两个模型在时间效率和准确性方面各自的优势,然后将分类模型应用于电网故障案例文本数据中,实验的结果充分证明了本文所提模型的有效性和通用性。本文的第一、二章阐述了论文的工作背景、研究意义和相关技术路线。第三章对本文所提的基于CNN的融合上下文信息的文本分类算法进行详细介绍,并对算法涉及到的技术难点和创新点进行分析。第四章对本文所提的基于BLSTM的融合上下文信息的文本分类算法进行详细介绍。第五章是对算法不同模块有效性验证的设计与实验,通过一步步实验证明本文所提创新点的有效性和整体模型的分类效果。第六章用实际的中文文本案例将模型应用于电网场景中,证明模型的通用性和有效性。