【摘 要】
：
云计算是以互联网为基础的新一代技术的总称,是并行计算、分布式计算和网格计算的综合发展。云计算技术将计算资源以服务的形式提供给用户使用,广泛应用于海量信息的存储和快
论文部分内容阅读
云计算是以互联网为基础的新一代技术的总称,是并行计算、分布式计算和网格计算的综合发展。云计算技术将计算资源以服务的形式提供给用户使用,广泛应用于海量信息的存储和快速高效的数据分析。Google提出的MapReduce计算模型将云计算应用的开发抽象成map和reduce两个操作,封装了并行计算中的数据处理、本地化文件系统、网络负载调节和容错处理等细节,降低了云计算应用设计开发的难度。本文在介绍云计算的基本概念、体系结构及其应用发展的基础上,分析了云计算模型的实现框架和容错机制。针对云计算Hadoop开源平台,详细分析了其中的分布式文件系统(HDFS, Hadoop Distributed File System)和MapReduce计算模型,并对Hadoop平台下的作业调度技术、FIFO、公平队列和计算能力作业调度算法做了深入的研究。对Hadoop现有的调度算法在异构环境下的计算性能进行了详细的分析,包括硬件资源的CPU使用率和磁盘I/O读写频率对MapReduce作业调度的影响。在此基础上通过对现有的计算能力调度算法进行改进,提出了一种基于反馈的动态负载平衡调度算法,该算法通过计算已运行作业的硬件负载耗费情况,将运行结果反馈给控制节点,修改现有的作业调度策略,提高了MapReduce在异构的Hadoop节点集群中的运行效率。最后,基于文化资源共享系统搭建了Hadoop云计算集群实验平台,在该平台上对本文提出的基于反馈的动态负载平衡调度算法的运行效率做了详细的实验分析和对比。实验证明,本文提出的调度策略提高了计算节点硬件资源的利用率。
其他文献
RoboCup机器人世界杯赛是近年来规模最大并且参与人数最多的高智能机器人足球比赛,其中仿真2D组比赛更是RoboCup世界杯中最古老的比赛项目之一,其中的多agent智能系统协作问
关系数据库中的关键词搜索问题已经逐渐成为信息检索领域的研究热点。由于基于关系数据库的关键词搜索技术不需要用户具有任何SQL语法知识和数据库模式知识，只需要输入关键词，
粗糙集是一种处理不确定性知识的数学工具，能较好地分析和处理不精确、不协调和不完备信息，在知识获取、机器学习、智能控制、专家系统、粒度计算等领域得到了广泛的应用、取得
车载自组网(Vehicular ad hoc network-VANET)是由车辆和道路两旁的基站组成的无线自组织网络,是智能交通系统(Intelligent Transportation Systems-ITSs)的一个重要构成。通
伴随着因特网上电子文档信息的持续增长，人们迫切的需要一个工具去发现、过滤以及管理好这些资源，文本挖掘技术可以解决这个问题，它是以文本为对象进行的数据挖掘，可以应用于信息
随着计算机的快速发展，数字图像已经成为一种重要的信息载体。无论是在日常生活和工作中还是在科学研究中，无时无刻都会有大量的数字图像产生。另外，当今社会亦是一个网络高度发
评论是一种评判事物价值的重要主观信息，其已被广泛应用于现有的商品属性抽取、偏好学习以及情感分析和挖掘。然而，评论自身也存在价值层次，能否精准高效地自动评估评论的价值（如
当今社会,从生产调度到经济分析再到生物医药,这些领域无不存在大量需要解决的优化问题。尤其是电子商务行业的兴起,现代物流业迎来了发展的高峰期,而物流配送作为其中最关键
随着计算机硬件和计算机图形学的发展,基于物理模型的流体模拟算法受到了研究学者的广泛关注,也逐渐成为计算机图形学研究热点之一,本文主要内容就是围绕了基于物理模型的烟
Top-K支配查询返回数据集中支配其它数据点个数最多的前K个点，它继承了Skyline查询和Top-K查询的优点而避免了二者的缺点，在偏好搜索、多标准决策支持等领域具有重要作用。目前