论文部分内容阅读
随着计算机网络和web2.0技术的深入发展和应用,微博改变了传统的社交网络形式,并迅速在社会上流行起来。用户不仅可以在微博平台上及时接触热点社会信息,并且可以通过对微博内容的分享和转发提升相关资讯的传播范围和影响力。微博具有的独特社交网络形式极大地方便了人们进行信息的获取、传播与分享。移动智能设备和无线网络技术的全面发展,让人们可以将现实世界中发生的社会事件“随时随地”的发布到微博平台上。社会性的重大事件往往首先会在微博内容中反映出来,从而引发大量用户的关注并产生巨大的影响力。因此,微博事件检测的意义深远,也是当前微博研究的热点之一。本文的研究目标在于利用数据挖掘算法,从内容繁杂、海量短小的微博数据中检测出有意义的事件信息,帮助用户在有限的时间范围内获取更多有价值的事件资讯,协助相关政府部门进行微博舆情管控和社会行政决策。首先,针对国内具有代表性的微博网站,通过使用微博网络开放接口收集带有地理坐标的微博数据；其次,将这些数据作为训练样本,使用K-means、KNN和决策树三种数据挖掘算法,根据微博数据的发布数、转发数、评论数、用户活跃度和移动强度五个指标来构建微博的地理规律性特征；最后,将日常地区性的微博数据特征与该地区微博特征的地理规律性进行比较,从而检测出该区域是否有事件发生。本文在运用K-means、KNN和决策树数据挖掘算法对微博数据分析的基础之上,提出了基于地理坐标的微博事件检测框架,并且运用R语言对微博事件的发展趋势进行了可视化分析。利用微博事件检测框架检测出的事件信息具有较大的参考价值,尤其是微博用户对该事件的情感和该事件的发展趋势都值得我们分析和思考,为以后应对类似的事件提供借鉴。因此,本文将信息检索的相关理论和技术引入到了微博事件的组织和管理中。为了用户便于检索已检测出的微博事件,本文在开源搜索引擎Lucene的基础之上,同时结合mmseg中文分词技术和jsp动态网页技术,实现了微博事件检索系统,帮助用户了解过往微博事件的内容和发展趋势。最后通过实验分析微博事件检测框架的可行性,并且结合“沙尘暴”事件的具体案例,实现微博事件的精确检索。