基于深度学习的网络热点话题推荐研究

• 作 者: 孙珊
• 出 处: 沈阳工业大学
• 发表日期: 2020年01期
• 关键词: 深度学习 Word2Vec TF-IDF 卷积神经网络 聚类算法

随着互联网技术的高速发展和全球化普及,网民规模不断扩大,网络也成为网民获取信息的重要平台。新闻文本信息呈爆炸式的涌现在网络上,因此从大量冗余的文本信息中提取出有价值的信息已成为当前计算机领域中的一项重要研究内容。如果仅靠人工处理这些杂乱无章的舆情数据,不仅会增加工作量,而且准确程度也会由于受主观意识的影响而降低。基于上述研究背景,本文对热点话题推荐研究的出发点是:如何从海量的、种类多样的信息中迅速发现目前最热门、网络平台讨论最多的话题推荐展示给网民。传统的热点话题研究方法不仅需要对数据集进行人工标注,而且在大数据集下容易出现维度灾难的问题。近年来深度学习作为前沿领域与多学科融合并取得众多突破,在自然语言处理领域上的运用也为网络热点话题推荐带来了新的解决思路。本文主要工作内容如下:对于传统语言模型无法避免在词语向量化的过程中忽略主要信息以及无法结合整体内容进行文本分析的问题,本文结合卷积神经网络通过卷积核上下滑动提取文本特征的特点,设计了基于卷积神经网络的词特征文本表示方法。本文使用Word2Vec预训练语言模型实现词向量的转化,并引入TF-IDF算法增强文本特征,最后通过卷积神经网络实现文本特征的提取,通过实验,探究影响模型分析结果的参数,并调节参数使模型达到最优的效果。实验结果表明,本文提出的文本表示方法相比于神经网络语言模型的文本表示在两种不同新闻数据集上的F值均有提升,证明了该文本表示方式的可靠性。本文在了解传统K-means与DBSCAN聚类算法后,对于K-means算法在初始选点问题进行优化,提出基于移动范围内密度最大选点方式的聚类算法,该算法既解决了选点个数问题,又解决了选点位置的难题,同时吸取了DBSCAN算法耗时的教训,在密度选点时,采用环域范围的方式加快遍历速度。实验结果表明,本文提出的算法在聚类准确效果以及运算时间的综合评估效果良好。将本文提出的基于卷积神经网络的词特征文本表示方法与基于移动范围密度最大选点方式的聚类算法相结合,并基于Dataframe存储方式的搜索最优文本以实现文本的推荐目的,提出基于深度学习的网络热点话题推荐研究框架,并且经过实验实现了该目标,验证了该方法的可行性。