论文部分内容阅读
推特是社交网络中典型的代表。一般来说,推特文本相比于与传统的新闻报纸、杂志期刊、网络博客等数据具有体量大、篇章短小、实时性高、覆盖面广和噪声多等特点。这些特点给推文信息的高效获取带来了很大困扰,大部分用户往往没有时间逐条浏览每一条信息。如何对推文信息进行及时降噪处理、抽取有价值的信息正在成为自然语言处理领域的一个热门话题。本文提出了一个基于深度强化学习的时序推特流文本分类算法DQN-TC(Deep Q-Network for Text Classification),该算法是深度神经网络和强化学习的结合。强化学习具有非常强大的自主学习能力,其中Agent根据当前的状态通过尝试不同的动作来从环境中获得最大期望反馈值,然后执行该动作来更新当前的状态。在强化学习的经验回放过程中,模型将当前时刻的输入作为Agent的状态,这个状态在本文中是推特文本的向量表示,然后下一时刻的推特文本向量表示作为观察到的状态。模型的另一个创新点在于使用了由循环神经网络和全连接层组成的深度神经网络架构作为动作价值函数的估计函数。其中,循环神经网络是将推特流文本蕴含的时间序列信息和语义信息作为网络的输入,然后生成输入序列的高维抽象表示,最后经过全连接层输出相应动作的Q值,得到的这个值用来估计强化学习中的动作价值函数,以便确定下一步需要采取哪种动作,即是否过滤该推特文本。本文爬取了真实的TREC 2016实时摘要数据集,经过对爬取的原始推特文本进行彻底的清洗,生成了文本的向量表示。然后进行了一系列的实验来评估提出模型的有效性,从简单常用的夹角余弦值相似度计算到基于SVM的分类算法的分析,说明了常规的机器学习算法抽取文本特征来进行模型的训练并不能取得理想的效果。然后本文基于推特流文本的时间序列信息采用了基于LSTM模型的算法,获得了比基于SVM模型更优的效果。最后本文在前边几个算法的基础上,使用基于Deep Q-Network(DQN)的算法得到了具有说服力的实验结果,最后验证了本文所提出算法DQN-TC的有效性。