论文部分内容阅读
通过扩展Heritrix相应组件来抓取特定网页,实现预定的抓取策略,并加入APHash算法对URL进行散列,达到了多线程抓取网页的目的,极大地提高了抓取数据的效率。
Heritrix主题爬虫设计
【摘 要】
：
通过扩展Heritrix相应组件来抓取特定网页,实现预定的抓取策略,并加入APHash算法对URL进行散列,达到了多线程抓取网页的目的,极大地提高了抓取数据的效率。
【机 构】
：
长春工业大学计算机科学与工程学院
【出 处】
：
长春工业大学学报：自然科学版
【发表日期】
：
2016年5期
其他文献
1，4-二[2（4-吡啶）乙烯基]-苯（简称BPEB）是一种具有典型的芳香族共轭大π键的化合物。分析比较了BPEB的几种合成方法和表征，得出了合理的工艺路线及适宜的工艺条件。
随着社会地不断发展,我国人民的生活水平得到了明显的提升,但随之而来的中外各种不同层次的负面文化的冲击,在某些程度上影响着青少年思维能力和道德水平的提升。尤其对于正
信访是人民群众反映情况、表达诉求的重要窗口,而税务机关作为国家重要的职能部门,加强信访工作对提高税务部门业务水平、推进税收政策实施、缓和和化解社会矛盾等具有积极意
以G218线为实例，介绍了沥青混凝土罩面技术的实际应用情况，包括对集料、沥青等原材料的技术指标要求以及施工关键点。