【摘 要】
：
“大数据时代”的到来,对数据处理技术提出了新的要求和挑战,各类大数据计算框架应运而生(如Hadoop、Storm等),成为人们处理各类大数据需求的利器。同时,在大数据推动下,云计算也迅速发展,人们可以按需从云中租用资源并按量计费。在这两方面技术的碰撞下,云环境下大数据服务的概念被提出,即BDaaS(BigData-as-a-Service),其理念是将大数据计算处理过程作为云中的服务向外提供,用户
论文部分内容阅读
“大数据时代”的到来,对数据处理技术提出了新的要求和挑战,各类大数据计算框架应运而生(如Hadoop、Storm等),成为人们处理各类大数据需求的利器。同时,在大数据推动下,云计算也迅速发展,人们可以按需从云中租用资源并按量计费。在这两方面技术的碰撞下,云环境下大数据服务的概念被提出,即BDaaS(BigData-as-a-Service),其理念是将大数据计算处理过程作为云中的服务向外提供,用户只需专注大数据业务本身,而云会准备好大数据计算过程中的各种要素,其中著名的产品有:AWS EMR,Openstack Sahara等。然而,人们在实践BDaaS解决方案的过程中遇到许多困惑与局限,其中BDaaS的性能问题就是主要的关注点之一,人们常发现自己构建的BDaaS环境性能与预期相差甚远,远不能满足大数据业务的需求;而有时,在物理环境中适用的优化策略,在BDaaS中却难以发挥作用。人们迫切寻求相关的指导,而目前缺乏这方面系统的研究成果或方法。针对BDaaS性能问题,本文在阅读大量研究文献和分析现有产品的基础上,开展了深入系统的研究,课题以Openstack、Hadoop、Sahara作为具体环境,采用从特殊到一般的方法进行讨论。包括三方面工作,首先,分析并定义BDaaS性能问题,当大数据计算转移到云环境后,云环境中资源的管理与使用是主要影响因素之一,本文围绕这一核心,结合云环境的资源特性和不同应用场景,提出了基于MapReduce的BDaaS性能模型,借此可以更准确定位性能的影响因素,并指导优化;其次,测试并提出BDaaS主要的性能影响因素,课题开发一款自动化测试工具Doopshot,可高效的进行大量测试并收集数据,在此基础上,开展了五方面测试,全面衡量BDaaS的性能,提出约10条影响因素;最后,在Sahara中设计并实践具体优化,总体涉及三个方面,分别是块设备管理接口、虚拟化性能瓶颈、数据源使用策略,这些优化策略的设计思路也可以应用到其他BDaaS解决方案中。最后,本文通过实验对优化方案进行了验证,对比了传统大数据处理方案、原Sahara和优化方案共6种情形。总体而言,优化方案有显著性能提升,相比于Sahara的默认配置,新接口的配置在DFSIO中吞吐量提升了120%,使用缓存统一管理服务的设计,利用Tachyon可在特定情形下达到13倍的吞吐量提升;Sort工作负载的执行时间上,优化方案相比于原Sahara普遍下降了约50%,而内存利用率在我们的实验中从80%提高到了96%,不过在缓存隔离性等方面还有待改进。结果基本符合预期,这也证实了课题关于BDaaS性能研究的合理思路与价值。
其他文献
开放式教学能提高学生的学习主动性,使他们在积极探索的过程中获得知识和技能,从而提高学生的创新能力与整体素质。图书馆是教师和学生学习知识、获取信息的主阵地。图书馆是
当台区所含智能表数量过大时,抄表极不稳定,严重影响日均采集成功率.通过现场和系统调整知,在同一台区加装采集终端,能减少采集终端抄表负荷,提高采集成功率并缩短透抄时间,
概念是体现学科思想的基本内容,及时并有效地探查学生的概念理解情况对学科教学具有重要意义。概念诊断方法以二阶诊断法(回答段+理由段)为主,但其存在诸多缺陷,之一便是忽略学生的心理因素。近几年,国外兴起一种新型的概念诊断方法——四阶诊断法(回答段+回答段信心评级+理由段+理由段信心评级),增加两层信心评级,能避免二阶存在的诸多问题。由于我国对四阶诊断法的研究与运用尚处于起步阶段,目前在有机领域无完整案
古代中日纺织技术交流的研究是海上丝绸之路和跨国文化研究的重要组成部分。现有中日古代纺织技术交流的研究,大多数以有史记载以后的丝绸、服饰等为研究对象,导致中国对日本
利用监督分类和阚值判别相结合的方法 ,在对不同地物的地表光谱特征进行分析的基础上 ,对NOAA和FY - 1C卫星各个季相的晴空资料分别进行了计算NDVI与判别分类 ,制作了陕西省遥感土地覆盖分类图。从而探索了一种通过极轨遥感资料进行宏观的土地覆盖分类的方法。此外 ,提出的用于遥感图像精校正的火点定位法 ,解决了地面控制点与遥感图像像元的对应问题
涉罪未成年人作为涉罪原因单纯、主观恶性小的特殊群体,更容易重塑正确观念,改过自新。“附条件不起诉”根据这一特点,采用“教育为主,惩罚为辅”的宽严并济的政策对涉罪未成年人进行教育,预防未成年人犯罪,不仅可以帮助涉罪未成年人更好的回归正常生活,更有利于维护社会的稳定。笔者在实习期间参与C市K区检察院涉罪未成年人“附条件不起诉”帮教项目,对Y某开展个案帮教工作。笔者运用专业个案工作方法,与案主建立专业关
随着经济的快速发展,建筑工程不断增加,建筑企业在工程建设过程中,需要全面加强管理,才能保证企业根本利益,实现企业跨越发展。在各项管理工作,成本管理越来越重要,因为工程
目的:为促进医疗机构药品采购工作中“两票制”的管理实施提供参考。方法:通过在SPD(Supply processing distribution)系统的相关模块中增加药品采购订单“两票制”确认、查
1998～1999年在山西中部榆次旱作丘陵区试验、示范结果表明:旱地玉米采用微孔地膜覆盖栽培具有明显的渗水、保水、增温效果.微孔膜覆盖生育期内土壤耕作层积温,较普通膜覆盖增