【摘 要】
：
云计算作为海量数据处理的新型计算模式被提出之后,其发展极为迅速。它将大量的计算机通过网络连接构成一个集群,用户通过集群的一台PC机就能够获得整个集群内所有的资源,如
论文部分内容阅读
云计算作为海量数据处理的新型计算模式被提出之后,其发展极为迅速。它将大量的计算机通过网络连接构成一个集群,用户通过集群的一台PC机就能够获得整个集群内所有的资源,如存储空间、计算资源等。Hadoop是云计算的分布式开源的实现平台,在大规模数据处理方面有着高容量、低成本等优势,也是一个运行在大型集群之上的并行处理系统。Hadoop云平台上的调度算法是对用户作业进行资源分配和调度执行的程序,它的选择合适与否直接关系到用户作业的执行效率。因此对Hadoop上作业调度算法的研究和改进优化就显得极为重要。本文研究的主要内容是Hadoop上作业调度算法的改进。针对LATE算法对任务进度值估算不准以及SAMR算法不考虑备份执行节点的问题,提出了任务备份调度的改进算法(BTIS)。BTIS算法通过历史记录较为准确地计算出任务的进度,找到真正的需要启动备份的慢任务；为慢任务选择启动备份的快节点时,会考虑工作节点执行任务的成功率和工作节点当前的负载情况,成功负载比高的节点将会得到执行备份的资格。在自主搭建的Hadoop集群中验证了BTIS算法能够完成用户作业的调度执行,且缩短了作业整体的完成时间。实验中的一些数据都是经过多次执行求平均值的方法得到的。通过BTIS算法与LATE算法、SAMR算法的对比实验可以看出,BTIS算法能够更好的确定任务各阶段的比例、找到最适合启动备份的慢任务；并且备份的执行效率高,能够缩短整个作业的完成时间,提高系统资源的利用率,优化平台的性能。
其他文献
近些年，云计算的出现对IT界甚至是是人们的日常生活都产生了深远的影响。OpenStack也是最近几年出现的一个开源云计算IaaS平台，受到广泛的接受与好评，涌现出许多基于OpenStack的
文物是我国五千年的辉煌文明历史遗留下来的珍宝，具有重要的历史、艺术与科学价值。然而由于环境与本身内在因素，文物正在逐渐损坏，传统文物的保护工作也无法从根本上保护好文物
舌诊是一种重要的中医诊断方式,由于长期以来是以医生主观判断为主,阻碍了中医的发展,因而实现中医舌诊的客观化,对中医现代化具有重要意义。舌象采集作为舌诊系统的基础部分
图像特征提取与匹配是计算机视觉领域的基础研究问题,也是该领域的研究难题。在过去的数十年内,该问题持续是热点研究问题,国内外很多专家学者相继提出了很多特征提取与匹配
随着信息技术的高速发展,人们的日常生活中涌现了大量的科技产品,而人们对于生活品质的更高追求使得对于科技产品的体验提出了更高要求。Java Card技术自诞生起便凭借其自身
现在主流的CAD建模方法是参数化特征建模，但参数化特征建模技术对复杂模型的编辑效率低下，且来自于操作历史的约束也限制了模型编辑的灵活性。近年来兴起的直接建模技术通过直
目前,大部分企业都将IT基础设施进行集中监控,以便统一管理调度,提升业务应用的性能。针对监控到的海量事件,如何有效地将它们融合在一起加以利用,获取更有价值的信息,是进行
科学技术的不断发展使天文学进入了全波段巡天时代,同时天文观测得到的各个波段的数据迅速增长。随着我国LAMOST项目开始正式巡天,在巡天过程中将会逐渐发布海量的光谱数据,
视频内目标跟踪作为计算机视觉领域中的基本问题之一，已经广泛地应用在人们生活的各个领域。影响视频目标跟踪的因素有很多，比如光照、遮挡或者运动状态的变化等，因此开发一种高
大爆炸算法(Big Bang-Big Crunch, BB-BC),是由土耳其伊斯坦布尔科技大学的Osman K. Erol*和Ibrahim Eksin于2006年提出的一种新的群体智能优化算法,该算法思想来源于了宇宙