基于天涯论坛的网络挖掘系统——天涯论坛视点1.0设计与实现

• 作 者: 张泽代
• 机 构: 中国科学院大学
• 出 处: 中国科学院研究生院 中国科学院大学
• 发表日期: 2012年期
• 关键词: 论坛平台 功能模块 网络挖掘系统 业务流程 话题数据

过去人们认为网络只是虚拟的世界,随着Web2.0的迅猛发展,网络用户成为更多网站内容的制造者。网络虽然只是现实的虚拟反映,但它却对现实中的社会群体带来日渐增长的影响。相应地,通过网络媒体数据对网络事件的研究越来越多。网络媒体数据的产生具有实时性,并且内容广泛,话题的参与者众多,这些都为传统媒体数据研究提出了新的挑战。网络媒体数据实际上是群众的社会关注在网络中的虚拟反映,是大众群体智慧的体现,而社会系统是一个开放复杂巨系统,这使得网络媒体数据具有开放复杂巨系统的一些特点。由钱学森等人提出的综合集成方法论体系结合了专家体系、知识体系和机器体系,是对复杂问题进行研究的有效方法。基于该方法体系以及综合集成研究小组多年来通过Web挖掘研究网络媒体数据的思路,本文对华语圈重要的网络事件聚焦平台——天涯论坛进行了一次研究尝试。　　
本文主要开发了针对天涯论坛的网络挖掘系统——天涯论坛视点1.0系统(Tianya Forum Vision l.0)。在系统的总体设计方面,本文首先从定义、分类、和基本流程方面对Web挖掘做了简要介绍,并对系统应用到的数据规范化存储工具XML进行了说明性介绍。然后结合数据处理流程和Web挖掘的基本过程,给出了天涯论坛视点1.0系统的总体流程图,并对天涯论坛视点1.0系统的模块功能做了明确的定义,给出了天涯论坛视点1.0系统的总体架构。本文以总体设计为基础,对天涯论坛视点1.0系统进行开发。系统包括爬虫程序模块,页面信息抽取模块,信息结构化存储和在论坛数据基础上的用户接口。首先对系统爬虫程序模块给出了详细流程图,UML类图。该爬虫程序模块实现对天涯论坛中话题更新列表页面和话题回复页面的定时自动抓取。然后,应用页面分析工具HTMLParser开发了页面信息抽取模块,并详细说明了信息抽取功能工作原理。之后,本文还介绍了系统对抽取出的信息进行结构化存储的具体实现。最后,在抽取出的天涯论坛数据基础上,开发了用户接口,用户从使用接口中可获取天涯论坛视点1.0系统抓取到的数据。　　
天涯论坛视点1.0系统收集了大量的天涯论坛数据,目前已有数十万条话题数据以及上百万条的话题更新数据,在用户接口中实现了对这些数据的部分统计功能。本文中还应用文本挖掘技术和定性综合集成技术iView,利用系统收集的一周内与地震相关的话题数据,分析了天涯论坛用户对于该话题的关注结构及其演化过程。分析结果显示媒体的关注与现实情况紧密关联,及时对网络媒体的关注进行分析,对社会管理有非常重要的意义。