【摘 要】
:
云计算依靠自身优秀的性能,灵活的扩展性,低廉的价格吸引着国内外企业将自身的业务迁移到云上.但是随着云上企业数量增多、任务种类增多、性能特征变复杂,用户很难在运行成本与服务需求的平衡中实现最优,所以用户为了简化操作申请过多的资源,造成了使用成本增加.许多典型的解决资源利用率低下的问题,都是从云提供商的角度优化放置算法,而用户选择将限制资源利用率增加;也有一些方法通过在云平台下的任务性能短时间采集并预
【机 构】
:
西北工业大学计算机学院,陕西 710000
【出 处】
:
第 23 届全国信息存储技术学术会议
论文部分内容阅读
云计算依靠自身优秀的性能,灵活的扩展性,低廉的价格吸引着国内外企业将自身的业务迁移到云上.但是随着云上企业数量增多、任务种类增多、性能特征变复杂,用户很难在运行成本与服务需求的平衡中实现最优,所以用户为了简化操作申请过多的资源,造成了使用成本增加.许多典型的解决资源利用率低下的问题,都是从云提供商的角度优化放置算法,而用户选择将限制资源利用率增加;也有一些方法通过在云平台下的任务性能短时间采集并预测,这样的方法会降低任务分类的准确性.对比传统的任务迁移,企业任务迁移还存在:1.物理机信息采集不准确.2.多维度资源需求复杂性.3.任务类型的复杂性.本文提出了一种多属性的任务性能采集工具基于权值可配的多KD树的KNN应用性能分类算法.针对信息采集不准确和多维度资源需求复杂性,本文描述了任务性能的最小参数集合这个概念,从计算,网络,硬盘三个大方面,全方位更细粒度的描述任务.本文从计算,存储,网络资源这三大资源中引申出具体可测量的硬件特征,并建立六维向量(F,M,U,D,S,N)来描述任务的整体运行情况.其中,F:CPU的浮点运行能力作为虚拟机和物理机的统一标准;M:内存总量作为;U:内存使用率;D:磁盘大小;S:磁盘的读写速度.N:网络带宽.使用Lbenchmark采集工具针对以上六维向量进行数据采集.实现了一种多属性的任务性能采集工具,全面采集任务的性能特征.在采集验证中,本文将Ganglia监控系统和Lbenchmark系统在机器上的负载情况进行了对比,最终测试结果显示Ganglia监控系统相比于Lbenchmark系统负载降低了50%以上.针对任务类型复杂性,本文提出了一种基于权值可配的多KD树的KNN应用性能分类算法,挑选适合参数建立多个基于KD树的KNN分类器,交叉验证方法调整每个属性在不同分类器的权重,进行选举分类.本文根据任务性能不同及硬件不同,将任务细分为六种类型(CPU密集型、硬盘密集型、内存密集型、计算密集型、I/O密集型、全负载密集型)得到Benchmark用例表.在KNN简单算法中,对于每一个待测样本点,都要逐一的计算其与对整个样本集中的每一个点的距离,计算并存储好以后,再查找K近邻.在KD树KNN算法中,提出一种分割k维数据空间的数据结构.即对样本集进行组织与整理,分群分层,避免盲目地与训练样本集中每个样本进行距离计算.本文提出的多KD树的权值可配的KNN算法在前面算法基础上进行了进一步优化,将属性对距离的影响根据任务的类型分配权重.分别采用Lbenchmark和ganglia的数据作为训练数据,并且分别使用该训练数据的80%作为测试数据,对简单KNN算法,KD树KNN算法,加权衡的多KD树KNN算法进行比较.实验结果表明多KD树的权值可配的KNN算法准确度明显高于简单KD树-KNN算法;对简单KNN算法有一定的准确性提高.通过分析时间复杂度为O(n),可以看出本算法相较与传统的KNN算法计算量和存储量有所降低.这些得到的信息整合后可以在云平台下为用户提供该任务的详细资源分配情况,为云提供商提供准确任务类型和任务性能特征,利用数据特征映射将资源建议提供给用户和云提供商,进而提高云平台整体的利用率.为进一步分配调度研究奠定了基础.在今后的研究中,将任务信息和任务类型与不同的调度算法结合,以达到全局能耗最低.
其他文献
为了减少施工时间,提高施工区域及其周围的安全性,针对既有桥梁工程的确定性体系,通过对黄河特大桥的施工方案的优化,探索黄河特大桥的施工工艺和施工组织方法,对各个施工阶段进行研究,以缩短工期为目标,最大程度提升工程综合效益。通过对黄河特大桥的混凝土简支箱梁快速施工方案研究,把节段预制胶接方案修改成了支架现浇方案,最大限度的缩短了施工占用的时间,减轻了对周围环境的影响,降低或避免了长时间高空作业,减少了
基于桥梁减隔震方法中支座功能分离的概念,提出一种由减震榫与普通橡胶支座组合而成的新型减震支座体系。本文首先基于等强度理论推导减震榫尺寸参数的设计方法;其次,对减震榫和普通橡胶支座组合而成的钢阻尼支座体系进行了全尺寸的拟静力加载试验,验证其滞回耗能性能,并通过钢阻尼支座的阻尼比和刚度退化曲线来评价钢阻尼支座系统的耗能能力和稳定性。研究结果表明:钢阻尼支座体系滞回曲线饱满,具有稳定的滞回性能和良好的塑
为了研究钢筋锈蚀下混凝土箱梁挠度和裂缝宽度的变化,基于梁截面平衡和变形协调,引入锈蚀钢筋混凝土梁非线性本构关系,建立了箱梁受弯挠度和裂缝宽度解析表达式.针对铁路简支箱梁算例,研究了混凝土性能退化和钢筋锈蚀对梁挠度和裂缝宽度的影响,并和铁路桥梁规范中挠度和裂缝宽度的规范值进行了对比分析.结果表明:混凝土性能的退化对梁挠度和裂缝宽度影响很小;锈蚀钢筋力学性能的退化和锈蚀黏结滑移对挠度和裂缝宽度具有较大
本文通过选取实际工程结构中的1X7结构钢绞线索进行断裂冲击试验,拟获得对应的索力时程曲线以及钢绞线索的断裂现象和失效机理,并为冲击响应谱的计算作铺垫。首先通过对无损钢绞线索进行动态拉伸,得到钢绞线索的断索情况以及对应的索力值,并计算出每根钢绞线索的失效时间,再将失效时间作为谱分析中的冲击持时,计算冲击响应谱。最终得到了五根钢绞线索的断裂过程以及相应的断索参数。结果表明钢绞线索的失效时间不随外在条件
为探讨分析桥梁横向拼接拓宽给既有预应力混凝土箱梁桥箱梁桥面板可能带来的结构病害,本文利用有限元方法分析了新旧箱梁之间产生的相互作用对既有箱梁结构应力状态的影响,考虑的作用包括新建混凝土桥梁的收缩徐变效应、新旧箱梁之间的不均匀沉降差、温度梯度以及车辆活载作用。研究结果表明,拓宽后既有箱梁的部分顶板和靠近新建箱梁的大部分内侧翼缘板顶面普遍处于较大的拉应力状态,其中新建桥梁混凝土收缩和徐变效应、新旧箱梁
根据波动理论,地震区起主要破坏作用的是震源发射的P波和S波。因此,本文推导了任意角度入射的平面P波和平面SV波在土体中应力的表达形式,并分析了地震波参数和土体参数对土体动应力路径的影响,比较了P波和SV波所产生的动应力路径间的差异。结果表明:当P波、SV波单独入射时,土体动应力路径均为椭圆,椭圆的形状随入射角、入射频率、波速、泊松比、深度等因素在一定范围内变化。
大数据技术的出现与发展使得存储系统面临巨大机遇与挑战。同时,作为传统内存介质的动态随机存储器(DRAM),由于其工艺尺寸达到20 nm及以下,使得内存系统在稳定性、可靠性等方面出现问题,亟待新型存储器的替代。相变存储器(PCM)具有非易失性、抗辐射干扰、密度高等优点,是最有可能取代DRAM的非易失性存储器。然而,相变存储器面临写寿命有限、电阻漂移、永久性故障、软错误等可靠性问题。在天基系统中,对内
近年出现的一类新型非易失性存储器(Non-Volatile Memory,NVM)如相变存储器和RRAM等,表现出非易失、存储密度高、低延迟、低功耗、抗震性好、可按字节寻址等优点,使得NVM成为潜力巨大的新型存储设备.针对这类NVM,学术界和工业界已设计实现多个新型内存文件系统如PMFS、SIMFS和HiNFS等,充分发挥非易失性内存高访问速度和可按字节寻址等优点,实现高效的文件访问和可靠的一致性
随着物联网、移动互联网、社交网络等一系列新兴技术和应用方式的出现,人们对海量数据实时存储、处理的需求不断增加.分布式消息系统由于其解藕数据收集与处理系统、良好的性能和扩展性被广泛使用.基于对分布式消息系统的广泛需求,一大批消息系统被开发发布,其中包括LinkedIn 2011年推出的Kafka,Twitter 2016年5月开源的DistributedLog,Yahoo!2016年9月开源的的Pu
近年来,随着云计算和大数据技术的相继涌现,数据中心在规模上和数量上都出现了跨越式的增长,能源消耗进一步加剧.能源成本的增长和环境问题的日益突出使得数据中心面临严峻挑战,引进经济环保的新能源已经迫在眉睫.太阳能和风能是目前最具前景的两种新能源,不仅获取方式简单,在全球大部分地区广泛存在,而且环保无污染,但是新能源的间歇性、不稳定性和突变性等特点,导致数据中心无法有效适应新能源.为此,各大数据中心开始