基于Bloom Filter的网络爬虫URL消重算法研究

• 作 者: 王春梅
• 机 构: 四川大学计算机学院
• 出 处: 产业与科技论坛
• 发表日期: 2011年18期
• 关键词: 网络爬虫 BLOOM Filter算法 HASH函数 MD5

针对网络大量重复页面,本文研究基于Bloom Filter的网络爬虫URL地址消重算法。首先,本文对Bloom Filter算法进行了分析研究;其次,本文应用Bloom Filter算法设计并实现了网络爬虫的URL消重;最后,论文采用URL消重率和爬虫爬取某类网站所用时间等性能指标,对基于遍历法和基于MD5算法的URL消重性能与基于Bloom Filter的消重性能做了对比。实验证明,基于Bloom Filter的网络爬虫URL地址消重算法效率较高。