基于改进的TFIDF算法在文本分析中的应用

• 作 者: 刘擎权
• 出 处: 南昌大学
• 发表日期: 2004年期
• 关键词: TFIDF 文本分析 训练 大数据

在这个数据爆炸、信息量巨大的时代,人类每时每刻都在制造大量的数据。人们通过手机、电脑联系在一起,通过论坛、微博讨论话题,通过QQ、微信实时交换信息。不论是近期世界上发生的大事还是家里的一些小事都在网上迅速的传播、交流。人类的活动产生的巨大的数据如何才能为我们所用,从中能发现什么规律?这正是我们要做的事情。我们需要分析这些文本数据,那就要用到自然语言处理,所以自然语言处理也是当今研究的热点之一。最近新浪微博的用户数量增长非常迅速,已经远远超过了贴吧等等一系列论坛。人们更愿意在微博上发表自己的观点,这使得微博的影响力不可小觑。所以本文以这个切入点为研究方向,研究基于微博数据的文本分析。但由于微博数据的特殊性,采用传统的方法无法取得很好的效果。传统的TFIDF算法比较简单且非常迅速,但是它的缺陷也很明显,对权重的计算效果也不是那么令人满意。特别是对于短文本的关键词权重计算方面有着不小的缺陷,所以运用传统的TFIDF算法对微博数据进行分析得不到很好的效果。为了提高文本分析的性能,针对传统TFIDF算法在短文本中表现不佳和一旦数据存在类间、类内分布不均时算法作用直线下降这两个不足,本文在关键词提取中对TFIDF算法进行了改进。主要方法有:(1)通过训练抑制文本和增益文本得到新的加权值,来修正传统的TFIDF算法算出的权值与实际的偏差。(2)我们将改进的算法引入到大数据平台,使得算法可以进行海量数据的文本分析。(3)将算法应用于文本分析的热点话题挖掘方向,直观的展示了热点话题挖掘效果。在此基础之上我们设计并实现了以微博数据为背景的文本分析,而且和别的算法进行了对比。实验结果表明,改进后的方法效果良好。