【摘 要】
:
Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情
【基金项目】
:
国家自然科学基金资助项目(61202136), 江苏省高校自然科学研究项目(13KJD520007), 南京晓庄学院科学研究项目(2012NXY14,2013NXY99)