基于CNN的双向LSTM注意力机制垃圾邮件分类的研究与分析

• 作 者: 吴小晴
• 出 处: 南昌大学
• 发表日期: 2020年12期
• 关键词: 垃圾邮件 文本分类 深度学习 神经网络 TF-IDF权重

随着科学技术的迅速发展,电子邮件通信受到大家的广泛使用,同时也带来一些问题。垃圾邮件始终干扰着电子邮件的正常通信,用户经常会收到一些包含垃圾信息或病毒的邮件,诱导用户点击邮件里的链接导致电脑中病毒,甚至银行卡信用卡盗刷等严重危害用户利益的情况。目前过滤垃圾邮件主要有两种方式,第一类为基于发送来源的识别技术,第二类为基于文本内容的识别技术。利用深度学习领域知识,建立一个垃圾邮件分类的模型,从而提高垃圾邮件识别的正确率。在已有文本分类算法的基础上,改进了 TF-IDF(term frequency-inversedocument frequency)权重的计算公式,对原有的算法模型做出了改进,提出了一种新的CNN-BiLSTM-Attention模型应用于邮件文本分类任务中。1.介绍传统的邮件文本分类流程,分别从预处理、权重计算、向量化文本数据、分类器四个方面,介绍了多种方法来实现分类。并从机器学习算法和神经网络算法两个方面详细介绍了在文本分类的应用。2.针对邮件分类中出现的词条分配的权重不均和计算结果偏向于长文本问题,对IDF(Inverse Document Frequency)的计算公式进行改进,加入了特征值的文本数量比因子γ和卡方统计量,并将改进的IDF与TFC计算公式结合,得到新的权重算法模型TFC’。通过对比TFC’、TF-IDF和TFC算法的实验结果,验证了 TFC’算法的准确性,将得到的向量化数据用朴素贝叶斯做分类器。实验结果表明,改进后的TFC’在邮件分类上的正确率能达到85%左右。3.将卷积神经网络(Convolutional Neural Networks,CNN)与 Bi-LSTM(Bi-directional Long Short-Term Memory)相结合,利用双向循环神经网络(Bi-LSTM)可以更准确得到文本的全局特征,弥补了卷积神经网络的不足之处,在一定程度上提高了文本分类提取的精度。4.加入了注意力机制,能够更好提取重要的文本词条,根据概率分布,针对性的向量化处理输入的文本特征,在注意力机制后加入了 Bi-LSTM层,能够更细致的提取词条特征,改进权重计算与Word2vec结合得到向量化后的文本数据作为CNN层的输入,实验结果表明垃圾邮件分类的准确率提高到了 92.7%。