【摘 要】
：
在出现落后任务时,现有的Hadoop推测式执行任务调度器会在空闲节点上为该任务进行备份执行,但并未周全地考虑该空闲节点的当前性能,可能造成这次备份任务仍然失败或执行速度
论文部分内容阅读
在出现落后任务时,现有的Hadoop推测式执行任务调度器会在空闲节点上为该任务进行备份执行,但并未周全地考虑该空闲节点的当前性能,可能造成这次备份任务仍然失败或执行速度非常慢,导致执行备份任务的失败率较高,不仅占用较多系统资源并且延迟了系统响应时间。因此,研究现有的Hadoop任务调度算法,针对备份任务的调度执行提出改进方案,对提高系统性能有非常重要的意义。提出了基于预测的Hadoop任务调度优化算法——CPL(Computation Prediction of Late)调度算法,主要包含两个优化点:首先,在系统中维护两个预测队列,分别为CPU空闲型节点队列和I/O空闲型节点队列。队列内部按执行任务失败率升序排序,在匹配任务和节点类型的基础上,预测即将空闲且失败率低的节点执行备份任务,降低了执行备份任务的失败率;其次,利用Map任务占用CPU时间片段的总和对现有的任务分类算法进行了修正,提出了更加准确的任务类型划分方法。通过Cloud Sim云计算仿真平台进行仿真实验,对CPL调度算法的性能进行了验证。结果表明:CPL调度算法的作业响应时间相比于FIFO调度算法和LATE调度算法分别降低了20%和14%;CPL调度算法比LATE调度算法执行备份任务的失败率平均降低了16%。
其他文献
阐述唐汉钧教授治疗下肢慢性溃疡的学术观点和临证经验.唐教授提出下肢慢性溃疡以“虚”“瘀”为本,“邪”“腐”为标,本虚标实,虚实夹杂为病机特点,治疗上立“补虚祛瘀生肌
用中医理论探索糖尿病皮肤病变的发病原因及病理机制,为临床糖尿病皮肤病变处方用药提供思路.利用脏腑辨证、气血津液辨证和微观辨证的方法,探讨本病的中医发病机制.脏腑辨证
随着近年来现代网络技术突飞猛进的发展，互联网络的总体规模和业务类别都发生了很大改变，网络核心路由交换设备在带宽和QoS保障等性能方面都面临着严峻挑战，具有QoS保障的T比特
综合性学习的培养目标是我们有效实施综合性学习的宗旨和前提。所以剖析综合性学习培养目标的结构对我们多维度建构综合性学习的培养目标体系具有重要意义。综合性学习的培养
随着食品企业客户数量的不断增加、产品批量销售额的不断提高，为保证管理系统能够满足当前企业的发展需求，我们运用科学的分析与管理方法提出创新的企业管理支撑体系，使企业立于
电子商务已经成为贸易自由化、经济全球化的重要手段,同时也是传统产业变革的关键推动力。电子商务能节约商家进行商业活动的成本,简化商务活动的流程并缩短其运行周期,进而
数据仓库作为当今热门的数据分析工具,为企业决策提供了有力支持的同时,也越来越引起人们的关注。数据仓库的数据量较为庞大,实现数据分析与决策支持的复杂功能需要解决海量
在互联网中数据共享与功能互用的一个重要手段是通过Web服务来实现的,Web服务能较好地解决异构服务在松散藕合环境下的集成、协作和互操作的问题。Web服务组合解决了单个Web
随着互联网的发展，云计算技术应用越来越广泛。目前云计算中，研究的主要有公有云计算、公有云存储和基于企业级别的私有云计算平台，而涉及到个人云操作系统的较少。个人云操作系
慢性肾病属难治性疾病,现代医学尚无特效疗法,给人们带来身心痛苦.在漫长的病程中,虚实夹杂.彭建中教授认为慢性肾病的病机为热郁血分、络脉瘀阻,或湿热伤血、络脉瘀阻,制定