一种增量式并行Web信息采集方法

来源 :计算机工程 | 被引量 : 0次 | 上传用户:wangying2880
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
提出了一个基于多线程并行的增量式Web信息采集结构模型,并加以实现,该模型以线程并行的方式对Web页面同时采集,实现了全面、高效并且灵活的信息搜集,在系统实现过程中,采取Java语言中最新的特性、独特的URL调度策略保证了各个线程时间的下载并行与互不相交,页面分析过程为各个线程源源不断地提供下载源,而指纹判别算法保证了并行采集过程中的同步,有效地去除了冗余。对该系统作了测试,实验证明,该系统能有效地提高信息采集性能。
其他文献
目的探讨新生儿窒息影响因素及防治措施。方法回顾分析241例新生儿窒息临床资料。结果观察不同的分娩方式的窒息发生率,发现分娩方式不同,窒息发生率不同,羊水状况与窒息发生
<正>在刑事证据规则国际化发展的背景下,我们应当承认非法证据排除规则的普适性特征,还须注意到非法证据排除规则的地方性发展。本文将在此基础上,分析中国式非法证据排除规
应用共生理论分析物流产业与区域经济协调发展的共生关系,构建物流产业与区域经济发展不协调的互惠共生模型和发展协调的互惠共生模型,通过对模型均衡条件的稳定点进行解析,
在伯顿·克拉克看来,高校类型的分化、大学专业层次的分化及大学本身最高层次的分化导致了教学漂移的产生;科研漂移的原因来自于知识的分化、市场的要求和政府利益的驱动。教
本文从于连身上具有的平民意识、性格的矛盾与虚伪性及直面人生的反抗精神这三个方面对于连形象进行了分析,并概括总结了这一人物的典型意义。
配送中心是现代物流系统重要组成部分 ,在规划设计配送中心时 ,合理的配送中心选址可以大大降低其运营成本 .本文对单一配送中心选址中常用的重心法进行了分析 ,认为重心法选
<正>《为了69个矿工的生命》报道了一起对受困矿工的"援救"事件。新闻事件发生的背景是河南省陕县支建煤矿,因为突降的暴雨造成了淹井,69个矿工被困井下。党中央国务院以及河
通过测定醋酐与二甲胺反应生成的二甲基乙酰胺来确定醋酐的含量。采用Phenomenex Synergi Hydro-RP 80A觶色谱柱(150 mm×4.6 mm,4μm),以甲醇和0.1%磷酸为流动相梯度洗脱,流
狭义货币供应量M1狭义货币供应量M1是指流通中货币(M0)加商业银行的活期存款。贷币理论中,把金融机构的存款统称为"存款贷币",但各类存款的流动性不同,在商品交易中的活跃程度和发挥的作用