【摘 要】
：
云网络研究早期,研究人员认为CPU是大数据应用性能的主要限制,但是通过研究发现,大数据应用性能可变性基本由框架低效所导致,而这一问题在之后的版本得以解决。同时,由于云计算的多租户特性,其他租户的操作会影响大数据应用程序性能的稳定性,从而导致用户的网络性能变化变得不可预测,致使其使用成本难以估计。因此,云网络性能可变性成为影响现代大数据工作负载性能的重要因素。针对上述问题,本文提出基于VOA（var
论文部分内容阅读
云网络研究早期,研究人员认为CPU是大数据应用性能的主要限制,但是通过研究发现,大数据应用性能可变性基本由框架低效所导致,而这一问题在之后的版本得以解决。同时,由于云计算的多租户特性,其他租户的操作会影响大数据应用程序性能的稳定性,从而导致用户的网络性能变化变得不可预测,致使其使用成本难以估计。因此,云网络性能可变性成为影响现代大数据工作负载性能的重要因素。针对上述问题,本文提出基于VOA（variability optimization algorithm）的大数据工作负载性能优化算法以降低云网络可变性的影响,提高大数据应用性能的稳定性。本文的主要研究内容如下:首先针对云网络性能可变性,提出基于云平台内部网络机制的云网络性能可变性分析方法。通过收集一个大型商业云EC2和一个较小规模私人研究云Vultr中的云网络数据,分析其变化情况及可变性水平,这里选取的分析指标均来源于云平台内部网络机制,包括网络管理机制、网络访问机制以及虚拟网络机制,最终得到影响云网络性能的可变性因素。通过分析发现,针对EC2云服务器,为了降低云网络性能可变性,首先需要在保证预算的情况下尽量选择初始令牌数量高的服务器,同时,网络密集型服务会瞬间耗尽令牌,应该选择查询类的简单服务。针对Vultr云服务器,由于不存在限流机制,可以选择网络密集型服务,同时,为了尽可能降低网络的抖动和延迟,提高网络带宽,应该尽量选择VLAN虚拟网络来完成数据的传输工作。其次针对大数据应用性能可变性,提出基于令牌桶模拟器的大数据应用性能可变性分析方法。为了消除CPU、带宽、内存以及I/O带来的影响,从而保证实验结果的准确性,设计了一个令牌桶模拟器代替EC2。分别在Vultr平台及令牌桶模拟器平台上运行测试基准Hi Bench和Big Data Bench,以展示云网络性能可变性对上层大数据应用带来的影响。通过分析发现,网络管理机制、网络访问机制以及虚拟网络机制均为影响大数据应用性能的关键因素,除此之外,大数据计算框架中排序时间复杂度和shuffle阶段的耗时也是影响大数据应用性能的关键因素。然后针对前两章分析得到的结果,提出基于VOA的大数据工作负载性能优化算法设计。针对Map Reduce的性能瓶颈,设计一种根据不同溢出文件之间数据量差异、不同键值个数以及不同溢出文件个数来动态选择排序模式的算法,将此部分算法与云网络性能优化算法相结合便得到基于VOA的大数据工作负载性能优化算法。最后,设计对比试验,将原始大数据工作负载性能与结合VOA的大数据工作负载性能进行比较,实验结果表明,经过网络层粗粒度的优化和应用层细粒度的优化之后大数据工作负载性能更加稳定,因此VOA算法可以有效降低大数据工作负载受云网络性能可变性的影响。
其他文献
网络行为特征作为网络运行过程中的采集信息,是网络管理和安全状态检测的重要信息来源,往往表现为高维的时间序列数据集合。通过对网络行为特征的研究分析可以在一定程度上评价当前网络的运行情况,对于网络安全的保障具有重要的现实意义。然而,现有的研究方法难以完全满足高维度、成分复杂的网络行为特征时间序列分析需求,重点表现在两个方面:第一,现有的公开数据集往往时间周期短、样本数量不足;第二,针对多维特征的异常分
人民防空作为现代国防的重要组成部分,是维护国家安全与社会建设成果的长期战略。在新的时代,人民防空由单一防空逐步向防空防灾一体化发展,人民防空不仅是战时减轻敌方空袭危害的决定性力量,也成为平时减灾救援的关键手段。在人民防空重要性日益凸显的背景下,如何克服传统人防指挥工作效率低下的缺点,高效高质完成指挥工作,成为各级人防部门急需研究与解决的重要问题。本文以某市人防指挥信息化建设为背景,遵循将互联网相关
钻孔测井雷达发源于探地雷达,是其在石油测井领域的新型应用。按照工作体制划分,钻孔测井雷达又属于冲激体制雷达。这种雷达得名于其使用超宽带窄脉冲信号作为信息载体,其优点得益于这种信号的优良特征,具有很高分辨率,较远的探测距离和极强的穿透能力等特点,因此被广泛应用于一些很难直接探测到的环境中,例如地下、墙壁以及人体等。雷达接收机作为整个雷达系统的关键组成部分,是衡量整套系统的性能优劣的重要因素。钻孔测井
数字孪生网络是近年来基于数字孪生理念,引出的一个新兴研究领域。数字孪生网络旨在通过创建的物理被测网络模型来构建对应的虚拟镜像网络。孪生网络与被测网络在网络结构、网络规模、网络状态等多个维度相互映射,并且两者可实现数据信息和控制信息的双向交互。数字孪生网络与传统网络仿真方法的主要区别在于是否能对被测网络进行全维度的状态感知并在孪生网络中与其实现双向快速同步,而这也是数字孪生网络的研究重点和难点所在。
振动触觉与音乐的结合是人机交互与艺术结合研究热潮中的方向之一。振动触觉与音乐结合的研究核心在于运用振动触觉表征音乐信息,其难点在于音乐要素的振动触觉映射受到振动驱动器性能、音乐信号处理算法、多场景差异性等多方面因素影响,缺乏符合人体振动触觉感知特性、结合高性能算法、融合多要素映射的触觉交互研究以及针对乐器舞蹈学习辅助的振动触觉音乐应用研究。为解决上述问题,本文以国家重点研发计划项目为背景,旨在对音
面对爆发式增长的海量数据,键值存储系统逐渐成为支持大规模应用程序的关键组件。一方面,基于闪存的固态存储器（SSD）有极高的读写性能,随着成本的下降,逐渐取代了传统的机械磁盘,广泛地应用于数据中心。另一方面,日志合并树（LSM-Tree）是键值存储的主流数据结构,对写进行优化。然而,LSM-Tree本身是为机械磁盘设计的,闪存拥有许多新特性,难以被高效利用。SSD为兼容传统系统构架,通过闪存转换层（
社区文化建设是社区发展到高级阶段的必然产物,社区文化活动是对社区文化建设最直观的展现形式,社区文化活动实践不仅体现社区居民的文化需求,更是体现整个社区的进步和发展。所以社区文化建设作为社区发展的重点,应该根据社区自身特点和历史文化渊源,形成社区特色文化,建立社区共同体意识,提高社区认同感和归属感;也应该根据新时代发展特点,创新文化建设渠道,利用互联网、多媒体等新方式提供文化服务,多形式丰富文化渠道
基于语篇分析的阅读圈理念由苗兴伟教授和罗少茜教授2020年提出,他们提出教师可以通过阅读圈的活动设计,引导学生观察和分析具体语篇的意义和语言特征。基于语篇分析的阅读圈共有五个角色:分析组长、结构分析者、内容分析者、态度分析者和总结者。教师可将学生分为五人组,使学生通过小组合作学习,分析语篇的意义和语言使用,从语篇结构、主题内容和作者态度等角度分析和解读语篇,培养学生的语篇意识和思维品质。本文旨在探
伪满时期的《盛京时报》是日伪重要的舆论宣传工具,承担着奴化民众、灌输殖民意识的任务。《盛京时报·儿童周刊》作为《盛京时报》的副刊,承担着教化、塑造“第二代国民”的使命。《盛京时报·儿童周刊》于1933年创刊,1944年终刊,基本见证了伪满洲国对儿童实施奴化教育的全过程。它呈现出《盛京时报》对儿童实施教育宣传的整体策略,也反映了日本殖民者的宣传策略和殖民手段。论文采用文献研究法,结合诺曼·费尔克拉夫
中学生的营养不良、超重和肥胖等问题的发生与学校营养教育直接相关。中学生物学是在教学过程中渗透营养教育的关键课程。本研究以内蒙古通辽市奈曼旗Y中学和奈曼旗M中学的1073名学生为样本,在调查高中生营养健康相关问题的基础上,探索了在高中生物学教学中渗透营养教育的可行性和教学实践,并进行了成效分析。主要结果如下:1.奈曼旗两所高中学生整体营养状况不容乐观。学生正常体重、体重过轻、超重和肥胖检出率分别为5