论文部分内容阅读
摘要:随着网络的飞速发展,Web挖掘技术已成为一个研究热点。本文就Web挖掘与相关研究进行了对比,介绍了Web挖掘的概念、分类及步骤,最后给出了Web挖掘的研究方向。
关键词:Web挖掘;数据挖掘;信息检索
随着数字化信息时代的到来,网络日渐成为人们获得信息的重要途径。然而网络中信息量巨大且分散无序,Web用户经常发现难以找到其所需的信息,造成“信息过载,知识匮乏”[1]的现状。通用搜索引擎给人们提供了进行信息检索的方法,但也存在查准率不高、查全率不能保证等问题。Web挖掘技术正是应这一需求而出现的一项新技术。人们运用Web挖掘技术,寻找网络中有趣的、潜在的、有用的模式或隐藏的信息,并利用这些信息加快用户检索的效率,从而使网络资源更好的为人们服务。
1 Web挖掘定义与相关研究
1.1 Web挖掘的定义
Web结构挖掘的基本思想是将Web看作一个有向图,它的顶点是Web页面,页面间的超链接就是有向图的边。然后利用图论对 Web的拓扑结构进行分析。这种思想源于引文分析,即通过分析一个网页链接和被链接数量以及对象来建立Web自身的链接结构模式。在Web结构挖掘领域最著名的两个算法是:PageRank算法和HITS算法。它们的共同点是使用一定方法计算Web页面之间的超链接质量,从而得到页面的权重。
2.3 Web使用记录挖掘
Web使用记录挖掘又称为Web日志挖掘,主要目标是从Web的访问记录中发现感兴趣的模式;分析不同Web站点的访问日志可以帮助人们理解用户的行为和Web结构,从而改进站点的结构,或为用户提供个性化的服务。Web使用挖掘的基本流程包括四个阶段:数据预处理、挖掘算法实施、模式分析、可视化。
3 Web挖掘的过程
Web挖掘的处理流程[5]包括如下四个步骤:资源发现、信息选择和预处理、模式发现、模式分析。
1)资源发现
网络爬虫在线收集Web文档、网站的日志等数据,并从中得到有用的数据。
2)信息选择和预处理
剔除Web资源中无用信息并将信息进行必要的整理,如Web文档中自动去除广告连接、去除多余格式标记、英文单词的词干提取、高额低频词的过滤、汉语词的切分等。
3)模式发现
自动进行模式发现。可以在同一个站点内部或多个站点之间进行,以自动发现Web站点的共有模式。
4)模式分析
验证、解释上一步骤产生的模式,并进行可视化。
4 Web挖掘研究方向
Web挖掘的应用非常广阔,不但涉及页面信息的提取、站点的分析和设计,而且在基于Internet 的电子商务方面也有很好的应用前景。
今后几年Web挖掘研究的主要方向有:(1)Web知识库的动态维护、更新,各种知识和模式的融合、提升,以及知识的评价综合方法;(2)基于Web挖掘和信息检索的、高效的、具有自动导航功能的智能搜索引擎相关技术的研究;(3)研究和开发基于Web的多层数据体系结构和智能集成系统,提供相应的查询语言,优化和维护机制;(4)现有的数据挖掘方法与技术的改进及其向Web数据的扩展,挖掘算法的适应性和时效性的研究;(5)Web挖掘的相关技术在电子商务领域的应用研究等。
5 总结
随着网络的飞速发展,Web挖掘技术已成为一个研究热点。本文就Web挖掘与相关研究进行了对比,介绍了Web挖掘的概念、分类及步骤,最后给出了Web挖掘的研究方向。
参考文献:
[1]Raymond Kosala,and Hendrik Blockeel.Web Mining Research: A Survey[J]. SKGKDD Explorations,July 2000.
[2] 韩家炜,孟小峰,王静,等.Web挖掘研究[J].计算机研究与发展,2001,38(4):405-410.
[3] Jiawei Han,Micheline Kamber 。范明译。数据挖掘概念与技术[M]。北京,机械工业出版社,2000.
[4] 王继成,萧嵘,孙正兴,等.Web信息检索研究进展[J].计算机研究与发展,2001(2).
[5]Yuefeng Lia,Ning Zhong.Web mining mobel and its applications for information gathering[J].Knowledge-Based Systems,2004(17):207-217.
收稿日期:2009-04-28
作者简介: 谢海艇(1982-),男,山东淄博人。研究方向:信息检索、数据挖掘等。
关键词:Web挖掘;数据挖掘;信息检索
随着数字化信息时代的到来,网络日渐成为人们获得信息的重要途径。然而网络中信息量巨大且分散无序,Web用户经常发现难以找到其所需的信息,造成“信息过载,知识匮乏”[1]的现状。通用搜索引擎给人们提供了进行信息检索的方法,但也存在查准率不高、查全率不能保证等问题。Web挖掘技术正是应这一需求而出现的一项新技术。人们运用Web挖掘技术,寻找网络中有趣的、潜在的、有用的模式或隐藏的信息,并利用这些信息加快用户检索的效率,从而使网络资源更好的为人们服务。
1 Web挖掘定义与相关研究
1.1 Web挖掘的定义
Web结构挖掘的基本思想是将Web看作一个有向图,它的顶点是Web页面,页面间的超链接就是有向图的边。然后利用图论对 Web的拓扑结构进行分析。这种思想源于引文分析,即通过分析一个网页链接和被链接数量以及对象来建立Web自身的链接结构模式。在Web结构挖掘领域最著名的两个算法是:PageRank算法和HITS算法。它们的共同点是使用一定方法计算Web页面之间的超链接质量,从而得到页面的权重。
2.3 Web使用记录挖掘
Web使用记录挖掘又称为Web日志挖掘,主要目标是从Web的访问记录中发现感兴趣的模式;分析不同Web站点的访问日志可以帮助人们理解用户的行为和Web结构,从而改进站点的结构,或为用户提供个性化的服务。Web使用挖掘的基本流程包括四个阶段:数据预处理、挖掘算法实施、模式分析、可视化。
3 Web挖掘的过程
Web挖掘的处理流程[5]包括如下四个步骤:资源发现、信息选择和预处理、模式发现、模式分析。
1)资源发现
网络爬虫在线收集Web文档、网站的日志等数据,并从中得到有用的数据。
2)信息选择和预处理
剔除Web资源中无用信息并将信息进行必要的整理,如Web文档中自动去除广告连接、去除多余格式标记、英文单词的词干提取、高额低频词的过滤、汉语词的切分等。
3)模式发现
自动进行模式发现。可以在同一个站点内部或多个站点之间进行,以自动发现Web站点的共有模式。
4)模式分析
验证、解释上一步骤产生的模式,并进行可视化。
4 Web挖掘研究方向
Web挖掘的应用非常广阔,不但涉及页面信息的提取、站点的分析和设计,而且在基于Internet 的电子商务方面也有很好的应用前景。
今后几年Web挖掘研究的主要方向有:(1)Web知识库的动态维护、更新,各种知识和模式的融合、提升,以及知识的评价综合方法;(2)基于Web挖掘和信息检索的、高效的、具有自动导航功能的智能搜索引擎相关技术的研究;(3)研究和开发基于Web的多层数据体系结构和智能集成系统,提供相应的查询语言,优化和维护机制;(4)现有的数据挖掘方法与技术的改进及其向Web数据的扩展,挖掘算法的适应性和时效性的研究;(5)Web挖掘的相关技术在电子商务领域的应用研究等。
5 总结
随着网络的飞速发展,Web挖掘技术已成为一个研究热点。本文就Web挖掘与相关研究进行了对比,介绍了Web挖掘的概念、分类及步骤,最后给出了Web挖掘的研究方向。
参考文献:
[1]Raymond Kosala,and Hendrik Blockeel.Web Mining Research: A Survey[J]. SKGKDD Explorations,July 2000.
[2] 韩家炜,孟小峰,王静,等.Web挖掘研究[J].计算机研究与发展,2001,38(4):405-410.
[3] Jiawei Han,Micheline Kamber 。范明译。数据挖掘概念与技术[M]。北京,机械工业出版社,2000.
[4] 王继成,萧嵘,孙正兴,等.Web信息检索研究进展[J].计算机研究与发展,2001(2).
[5]Yuefeng Lia,Ning Zhong.Web mining mobel and its applications for information gathering[J].Knowledge-Based Systems,2004(17):207-217.
收稿日期:2009-04-28
作者简介: 谢海艇(1982-),男,山东淄博人。研究方向:信息检索、数据挖掘等。