一种高适应性的网页信息抽取机制的设计与实现

• 作 者: 李双洋
• 出 处: 北京邮电大学
• 发表日期: 2017年01期
• 关键词: Web信息抽取 XML 文档对象模型 规则模板

随着互联网的高速发展,Web网页呈现爆炸式增长,web信息已经成为当今最具价值和潜力的信息来源,以此为基础的大数据分析和云计算也随之兴起。当前一些研究和应用,如数据融合、集成和分析系统、推荐系统、数据挖掘系统等都是基于海量的Web数据的研究。然而,Web页面上不仅仅包含重要的数据信息还有大量的噪声信息,面对如此庞大而复杂的Web信息,如何从中高效率准确地抽取出所需要的信息点来进一步获取数据更多的潜在价值,是一个非常有研究价值和实用意义的课题。Web信息抽取的核心是将分散在Internet上的半结构化的Web页面中含有的数据信息点抽取出来,并转化成结构、语义更为清晰的形式,以进行挖掘和利用的过程。本文的主要内容包括:首先介绍了网页信息抽取技术的相关概念和原理,深入分析研究了当前的网页信息抽取研究方法和技术,并对常用的信息抽取的特点进行研究;然后结合基于HTML结构的和基于模板规则的方式的网页信息抽取方法,设计了一套综合统一的基于规则配置的适应于不同领域抽取任务的Web信息抽取机制。在设计该网页信息抽取系统中,明确了网页信息抽取的模型,并就规则体系的定义包装、信息采集、信息抽取、自动导航等关键问题进行了详细阐述。系统将规则包装与信息采集抽取独立进行设计,设计了元素信息类型库,最终根据用户的需求配置,将抽取出的结构化数据信息存入相应的本地库。在此基础上,采用Java语言和Chrome扩展结合的方法实现了该网页信息抽取系统。在论文最后,给出了实验结果和系统分析。其结果证明本文研究设计的网页信息抽取系统能够适应各类站点常用的web信息抽取任务的需求,并且其模块独立式的设计,使得系统的信息抽取的效率和准确性都能达到较好的效果。