文本话题演进分析

• 作 者: 杨皓东
• 机 构: 北京师范大学
• 出 处: 北京师范大学
• 发表日期: 2011年期
• 关键词: 话题跟踪 文本话题演进 多质心模型 新颖度计算 增量聚类

在如今信息爆炸的时代，网络上的信息资源无所不有、无所不包，这也给人们如何能迅速、准确、全面地获得自己感兴趣的信息提出了很大的挑战。话题检测和跟踪技术就是在这种情况下应运而生的，目前它已经成为自然语言处理中的一个研究热点，旨在帮助人们识别自己感兴趣的网络新闻话题和对已有的话题进行后续跟踪。本文在前人研究的基础上，对话题跟踪任务中一个更加细化的问题--文本话题演进进行了深入的研究和讨论，提出了解决话题演进的方案，主要的研究内容包括以下几个方面：　　
首先，本文深入探讨了国内外关于话题跟踪和话题演进技术的研究现状，重点分析了国内外对自适应话题跟踪的研究和国内学者对话题演进分析的研究。　　
然后，在前人研究的基础上，本文对已有的话题模型进行了改进，提出了基于话题多质心模型和新颖度计算思想的话题演进问题解决方案。使用多质心模型来表征话题随时间推移演进出来的各个重心，通过比较新来的报道与话题各个质心的相似度来判断报道是否属于某个话题；若属于某个话题，则找到与该报道最相近的话题质心，然后使用新颖度来计算新来报道的新颖特征项百分比，进而判断是否建立或者更新话题质心。另外，本文对新闻报道中重要的时间信息和命名实体加以利用，来提高话题跟踪的性能，提出了基于动态阈值的话题多质心模型。然后，结合Single Pass增量聚类算法，文中提出了文本话题演进分析的整套技术流程。　　
最后，本文通过实验对提出的基于时间信息的话题多质心模型和新颖度计算思想在解决话题演进问题中的有效性进行验证。总共设计了两个实验方案：实验一比较了基于动态阈值的多质心模型和基于固定阈值的多质心模型在话题跟踪任务中的性能差异；实验二验证了话题多质心模型在呈现话题演进中的有效性。实验证明，该套方案具有较好的话题跟踪的性能，并且能清晰地呈现话题演进的过程。