【摘 要】
：
当前Hadoop的实现主要针对同构集群,假设任务处理的数据基本是本地的。然而,实际应用中硬件配置的差异、资源虚拟化等都将导致节点的异构。这就暴露出现有的数据分配策略对数
【机 构】
：
福州大学数学与计算机科学学院福州350108福州大学数学与计算机科学学院福州350108;国防科学技术大学计算机学院长沙410073
论文部分内容阅读
当前Hadoop的实现主要针对同构集群,假设任务处理的数据基本是本地的。然而,实际应用中硬件配置的差异、资源虚拟化等都将导致节点的异构。这就暴露出现有的数据分配策略对数据局部性考虑的不足,所引起不必要的数据传输不但占用额外的带宽资源,而且耗费传输时间。本文通过分析HDFS数据放置与MapReduce任务执行的关系,在考虑Hadoop异构集群中节点固有性能的情况下,提出一种机架间基于任务特性和节点计算能力的数据分配策略。该分配策略提高了对数据局部性的关注,使每个节点都尽可能只访问本地数据。通过实验可知,工作槽的优化配置可以提高集群的资源利用率;该策略可以有效地缩短作业执行时间,提高时效性;同时提高数据局部性,减少网络数据传输,避免拥塞;最后,该分配策略还具有较好的稳定性。
其他文献
JNI技术支持Java与本地C/C++的相互调用,在Android等混合语言实现的系统中有着广泛应用,但语言之间的安全特性差异,使其成为安全薄弱环节,现有的分析方法难以处理多语言相互
高效的去、中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起到了至关重要的作用。针对基于哈希的划分和基于子树划分的元数据管理方案扩展代价巨大以及对集
随着科学技术的发展,汽车信息服务系统已扩展成一种多功能智能系统。单一的车载终端已经无法满足用户日益增多的需求,所以引入后台支持来帮助系统更好地提供服务。而在系统中
real-time operating system—μC/OS-Ⅱ,and introduced the kernel structure and the porting technology.Then it described the realization of porting μC/OS-Ⅱ
本文提出了一种新的扩展IBM OmniFind Enterprise Edition搜索引擎的语意搜索和结果分类的方法,该方法利用IBM OmniFind Enterprise Edition,并结合IBM开源非结构化信息管理
嵌入式软件功耗已成为嵌入式系统设计的重要瓶颈,而物联网的兴起,使得嵌入式软件在以太网卡部分的功耗所占比重越来越大.文章首先简单介绍了HMSim,然后提出了一种基于HMSim
电力系统频率是电力系统的重要状态反馈量,为保障电力系统安全稳定运行,需加以动态控制。随着科学技术的不断发展,频率的测量的精度和技术速度在不断的提高,但由于电力系统负
软件定义网络通过分离网络控制平面与数据转发平面,利用对底层网络硬件的抽象和虚拟化,逻辑上实现对网络的集中式可编程控制,从而提高网络的开放性、灵活性、可扩展性和可管
命名数据网络是为改善当前互联网在拥塞控制、移动性、安全性等方面的不适应性而提出的一种新型网络.网络关注的核心是消息的内容,消息在网络中基于名字路由,不携带消息的源
网络地址转换(Network Address Translation,NAT)和虚拟专用网(Virtual Private Network,VPN)分别用以缓解IP地址耗尽和建立安全通信,但NAT协议和支撑VPN的IPSec协议协同使用