论文部分内容阅读
随着互联网在世界范围内的迅猛发展,网络媒体已经成为继广播、报纸和电视之后的第四媒体,尤其是智能手机和移动互联网的出现和迅速普及,已经让网络的影响力扩展到我们生活的方方面面。人们已经开始习惯通过网络了解身边发生的各种事件,也习惯了利用网络发表自己对各种事件、政府方针等的看法和观点,互联网已经成为反映社会舆情的主要载体。我国网民数量众多,而网络本身具有开放性和自由性的特点,再加上我国对网络舆情没有十分有效的监控手段,这导致近几年来网络事件频繁发生,而且往往在极短的时间内发展到相当大的规模,许多明星、企业甚至政府官员卷入其中,对社会安定和谐造成了不好的影响。电信公司为了能够及时了解行业动态,社会关注话题尤其是电信行业的热点话题,开发了电信网络舆情监测系统。本文介绍了实现电信网络舆情监测系统的关键技术,并且给出了网络舆情监测系统的需求分析、总体设计方案以及详细设计和实现的过程。本文首先介绍了网络舆情监测的意义、国内外发展现状以及要实现网络舆情监测所要使用到的关键技术,包括网络爬虫技术以及开源搜索引擎框架Nutch,分析了中文分词技术以及数据挖掘技术中的聚类分类的各种算法,详细介绍了TF-IDF这种简单而有效的特征提取算法,为系统开发打下坚实的理论基础。随后,本文分析了一套高效、实用的网络舆情监测系统的相关需求,包括系统可行性、系统功能性需求和系统非功能性需求,并且利用例图和需求用例对用户活动进行了分析。根据以上的需求,本文给出了网络舆情监测系统的总体设计方案,从网络结构、软件层次、功能模块、数据模型以及界面等方面对系统进行了设计,提出了一个成熟可行的舆情监测系统应该具有舆情采集、舆情预处理、舆情分析、舆情检索、舆情预警、舆情呈现和系统管理等功能模块。最后,根据上述设计方案,本文给出了系统主要模块的详细设计和实现方案,包括舆情采集模块,舆情预处理模块内容提取、自动分词、提取关键词、自动摘要等功能,舆情分析模块中热点追踪、敏感信息提醒等功能的详细设计以及实现过程,并给出了相应的系统截图。