论文部分内容阅读
随着网络技术的快速发展,很多与Web关联密切的服务也在带动下逐渐增多,在工作和生活中得到了越来越多的应用,同时,人们也对此提出了更高的要求。这就不可避免地对进行Web信息采集的网络爬虫技术提出了越来越高的标准。尽管从目前的发展形式,国内外很多公司都对此提出了较为成熟的解决方法,但是这种搜索引擎带给大众的是相对固定的搜索服务,并不能够充分满足所有人的要求。在这种情况下,单机的网络爬虫并不能够解决这种问题,中型规模的网络爬虫也就根据其快速、高效率的信息采集方式以及可定制性,满足了用户在此方面的需求。从此角度出