【摘 要】
：
搜索引擎作为互联网信息获取的入口,实现高效、准确的信息获取非常重要,爬虫作为搜索引擎的上游,其重要性不言而喻,特别是大数据时代信息更新频繁,如何在第一时间获取新闻是
论文部分内容阅读
搜索引擎作为互联网信息获取的入口,实现高效、准确的信息获取非常重要,爬虫作为搜索引擎的上游,其重要性不言而喻,特别是大数据时代信息更新频繁,如何在第一时间获取新闻是实现爬虫时效性的重要因素。为了充分利用有限资源,提升带宽利用率,设计一种基于历史数据预测的爬虫调度算法。该算法通过抓取网站历史,更新频次积累数据,使用随机森林回归建立模型,并在系统中实现爬虫调度。实验结果表明,该策略在抓取新链的命中率上提升了46%,平均成本降低了11%,平均抓取延时降低了14%。
其他文献
世纪之初,一场令人瞩目的基础教育改革在我国拉开了序幕。其中,课程资源的开发与利用作为此次课程改革中颇有特色与创意的部分,其重要性日益显现出来。小学科学教育的目标是
以草地农业生态经济系统可持续发展为目标,以草地类型区域分异为基础,基于区划的依据、原则,通过单要素和综合要素叠置,以及专家系统评价和野外校正,在确定了等级标准的基础
下肢静脉曲张影响下肢美观,也影响患侧肢体血液循环。消除原发病,找出患病因素预防下肢静脉曲张是关键措施。加强下肢静脉曲张护理,普及预防下肢静脉血栓知识,采取预防下肢静
本文通过对我国民营企业的薪酬管理状况的分析,使我们对民营企业薪酬管理工作存在的问题和发展趋势有一个总体的认识和把握。民营企业的薪酬管理应以现代企业薪酬理论为指导,
农业是国民经济的基础,在国民经济发展中发挥着极为重要的作用,因此,目前各个地区高度重视农业产业化经营,农业产业化获得了快速发展。推进和保证农业产业化经营可持续发展,
电影历经百年,自其诞生之日就以一种新型的文化形态,开拓了人们的视野,改变了人们的思维方式和生活方式,也形成了人们新的审美意识。电视则是人类另一伟大发明,它人类文明进
针对物料需求计划(MRP)与准时制(JIT)生产方式在我国制造型企业中的应用,通过对推动式生产与拉动式生产的比较,着重分析了 MRP与 JIT生产方式在基本原理和应用特点上的区别,
[目的]了解保洁人员对医院感染知识及个人防护知识掌握程度。[方法]采用自行设计的问卷对110名保洁人员进行问卷调查。[结果]所有保洁人员均未掌握消毒剂的有效浓度,缺乏对规
以商洛县域经济间的差异为研究对象,运用主成分分析法,将12种经济基础指标降维处理成经济、生活两大指标,得出商洛一区六县的县域经济发展状况的综合结果,并分析出洛南、商州
改革开放以来,随着城镇化与工业化的快速发展,建设占用耕地的现象屡禁不止,耕地污染现象日益严重,这些问题已严重威胁着我国本已十分脆弱的生态安全问题和粮食安全问题。我国