基于Hadoop平台的MapReduce模型任务调度算法的研究与改进

来源 :数字技术与应用 | 被引量 : 0次 | 上传用户:chendegeng1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对Hadoop平台下现有的调度算法进行分析研究。在MapReduce计算模型下,针对Reduce阶段的任务调度问题提出在异构Hadoop环境下新的调度算法,算法在最大程度上提升数据本地性的同时考虑各处理机节点的不同处理能力。对该算法进行实验和性能分析,表明该算法在减少调度时间方面有较好的表现,同时可以适用于更加符合实际的异构Hadoop机群系统中。
其他文献
随着面向对象程序设计方法的出现,对象作为该方法的核心技术,正在得到新的开发语言和新的系统架构的支持,两种开发方法存在着质的区别。本文从面向过程程序设计的结构化思想
数学文化是数学的一个重要组成部分,随着社会和教育的不断发展进步,数学文化在数学教学中的作用、地位和价值得到越来越多的专家和一线教师的重视。中学新课程标准也在强调要
建立了高效液相色谱测定咖啡粉和速溶咖啡中葫芦巴碱含量的方法。采用Waters BondPak NH2色谱柱(250 mm×4.6 mm,5μm),以甲醇-水(82∶18,v/v)为流动相,流速0.8 mL/min,检测
本文首先对目前的公众通信网和专用移动通信网在森林火灾扑救过程中开展通信所存在的不足进行了分析;对采用动态频谱共享技术,利用未使用的和未充分利用的频谱资源提升认知无线电传输信道容量,满足火场应急通信需求的可行性进行了分析;而后基于先前SD-SMSE(软判决频谱调制、频谱编码)框架的研究成果,进一步完善了Overlay、Underlay和混合Overlay/Underlay波形的解析表达式,并分别对其
8月17日由贵州省委宣传部、省新闻工作者协会、省新闻道德委员会、省新闻学会主办的贵州新闻战线第五届“好记者讲好故事”演讲比赛在贵阳隆重举行。来自全省14家新闻媒体的2
变电站综合自动化是以一个配电间隔为单元,将变电站的二次设备(包括测量仪表、信号系统、继电保护、自动装置和远动装置等)经过功能的组合和优化设计,利用先进的计算机技术、现代
随着社会结构和国家治理体系的日益复杂化,现实中的政社关系和社会组织的生存环境也越来越多元化。基于广西P市Y协会及其孵化机构的个案研究发现:在我国复杂的政府组织体系和
校园网的建设是学校发展的重要设施,作为不可缺少的环境支撑着学校教育的发展,随着校园网的规模也不断扩大,校园网安全所面临的威胁不断上升,一旦出现较为严重的病毒侵入或黑
政策的东风2013年11月15日,党的十八届三中全会《决定》,首次提出了"加强知识产权运用和保护"。2015年3月13日,中共中央、国务院发布《关于深化体制机制改革加快实施创新驱动发
对周期和奇周期四相失配阵列信号进行了研究,给出了两种失配阵列信号的存在条件及构造方法,即折叠法和周期乘法,由此构造的失配阵列信号可以使周期或奇周期相关函数的所有旁瓣为