网络舆情检索分析系统的设计与实现

• 作 者: 李璀
• 发表日期: 2015年期
• 关键词: 网络舆情 全文检索 系统设计

互联网舆情信息越来越受到各个国家重视,但我国因缺乏有效的舆情分析手段,使国家安全面临较大威胁。因此急需舆情检索分析系统进行有效监控网络舆情,以期净化网络环境、防止发生有害事件,避免产生不良后果等。现有的舆情检索分析系统普遍存在工作效率不高,缺乏有效监控手段等缺点。因此加速网络舆情研究,进而开发符合我国国情的网络舆情检索分析系统是十分必要的。其目的是实时抓取、存储、检索分析网络信息,达到对突发事件、热点敏感问题等预警。用户通过友好的界面完成信息浏览、下载、分析等操作,并对获得的舆情结果进行二次检索分析,获得更有效实用的舆情分析结果。论文研究内容主要有:论述系统设计原理和技术支撑,包括:多服务器集群与分布式管理、网络爬虫与检索技术等;按照软件工程原理,完成需求分析、系统总体结构设计与详细设计;检索算法设计与系统实现。系统主要功能模块包括:舆情数据采集模块,其完成海量数据采集与数据预处理。将采集的网页数据存入数据采集数据库,经过预处理的数据存入数据预处理数据库;全文检索,其完成预处理库中网页数据的分类、索引,并将处理后的索引数据存入索引数据库,进而完成数据检索操作;用户交互模块,完成网络舆情系统的结果显示、操作、配置等功能。通过网络舆情分析系统可以实现对网络舆情数据快速抓取、分析、及通过二次搜索方式对舆情结果中的虚假信息进行甄别、重点内容关注、有害信息进行分析预警等。