【摘 要】
：
随着数据中心高性能计算需求的快速提升,云服务器中的数据传输量也呈现出爆炸式增长的趋势,这使得I/O成为了云计算中新的瓶颈。硬件设备和相关协议的发展,为突破这一瓶颈带来了希望:从机械硬盘到固态硬盘,从AHCI协议到NVMe协议,都给数据中心带来了更先进的存储子系统。随着支持NVMe协议的固态硬盘技术的快速成熟,数据中心开始大量装配NVMe固态硬盘设备。而硬件上性能的提升,也给云计算场景下的软件技术栈
论文部分内容阅读
随着数据中心高性能计算需求的快速提升,云服务器中的数据传输量也呈现出爆炸式增长的趋势,这使得I/O成为了云计算中新的瓶颈。硬件设备和相关协议的发展,为突破这一瓶颈带来了希望:从机械硬盘到固态硬盘,从AHCI协议到NVMe协议,都给数据中心带来了更先进的存储子系统。随着支持NVMe协议的固态硬盘技术的快速成熟,数据中心开始大量装配NVMe固态硬盘设备。而硬件上性能的提升,也给云计算场景下的软件技术栈提出了新的要求。传统I/O虚拟化技术如何适配具有全新特性,且性能更好的NVMe设备;如何优化软件层的性能,从而完全发挥出NVMe设备的高性能;如何对用户的各种性能指标进行针对性地优化,高性价比地达到指定的服务质量水平。面对这些问题,就需要对NVMe虚拟化技术中的资源利用进行研究。本文研究主要聚焦于通过调度机制,实现对NVMe资源在虚拟化过程中的精细控制和高效能利用。基于Intel平台和Linux操作系统,本文设计了一套可调度的NVMe虚拟化框架,并分别针对大数据计算和多维度服务质量控制设计了调度策略。具体来说,本文的贡献包括:1.本文调研了当前主流的NVMe虚拟化框架,并基于Linux的设备中介透传虚拟化方案mdev,设计实现了高效能的NVMe框架。该框架通过中介透传的方式较好地保留了NVMe设备的高性能,还创新性的提出了在虚拟化过程中,对NVMe设备的I/O资源进行调度。本文在虚拟机和物理机的队列管理中增加了一层影子队列,将虚拟机看见的资源和物理机实际接触的硬件资源解耦合,物理I/O队列可以在I/O任务运行时被灵活调度,切换到不同的虚拟机上使用。2.本文针对大规模数据计算任务,设计了一套负载敏感的调度算法,以保证整体系统吞吐量最大化。该算法通过周期性收集更新的各个虚拟机负载特征,计算不同虚拟队列的I/O负载压力,并通过加权轮询的方式,合理高效地分配NVMe设备的I/O资源。这种调度机制确保了负载压力大的任务拥有更多的资源处理I/O请求,而负载压力小的任务也会被确保拥有相对应足够的I/O资源。3.基于可调度的NVMe虚拟化框架,本文还提出了混合性能指标控制调度算法,主要目标是解决云计算场景中,多个客户的多维度服务质量指标约束。通过支持对任务种类的提前标注,调度算法将负载任务分为三个指标类型:吞吐量敏感、延迟敏感和截止时间敏感,并根据不同的性能需求,进行精细的资源调度,从而提高NVMe设备的虚拟化效率,达到多维度的服务质量指标。4.本文还设计并实施了详尽的实验对前文叙述的解决方案进行评估。在面向高吞吐量的NVMe资源调度算法实验中,我们的方案在多虚拟机运行不同负载的场景中的吞吐量提升达到接近40%,而平均延迟也与原有框架相当。在最多八个虚拟机的密集负载的压力测试中,仍然具有良好的性能,几乎达到了NVMe设备的理论I/O上限。而多维度Qo S指标的实验中,我们改进的算法能够精确控制不同虚拟机的不同性能指标,平均延迟Qo S目标负载的平均延迟下降最多44%,截至时间Qo S目标负载的99.999%的尾部延迟在前90%的时间段分布缩短到三分之一,而吞吐量只在某些场景下只轻微减少7.6%。
其他文献
随着通信技术的不断发展,通信信号调制手段日新月异,传统的调制识别方法难以满足实际需要。在现代化通信对抗中,及时准确地获取信号的调制方式是进行信息提取和干扰引导的重要前提。论文针对现代通信对抗中的通信侦察系统,立足于实战中“实时+准确”的需要,研究设计了一种融合决策树与高阶累积量的调制识别算法,对侦获的信号进行调制分析。论文致力于分析通信信号的统计特征与频谱特性,并对两个具有递进关系的目标进行了研究
中国5G标准的发布及商用化服务的快速推进,给超高清产业带来极大的助力。直播编解码器作为一个负责对直播信号进行实时编解码处理的工业化软硬件产品,是现有高清直播端到端流程中必不可少的一环。目前业内对超高清直播业务场景评测方法认知尚未普及,从而对业务支撑所需的直播编解码器的评测研究工作相对欠缺。因此,有必要研究一种面向超高清的直播编解码器技术评测方法。本文首先分析和研究了超高清视频,特别是HDR相关技术
当前无线移动通信传输数据呈倍数增长,导致频谱资源紧张的现状。传统无线通信发展基于OSI七层模型,物理层专注于从物理频谱带宽等角度逼近通信容量。同时,传统信源信道联合编码研究已经相对成熟,一定程度上从数据无差错传输角度提升信道容量。然而传统信源信道联合编码仍存在诸多问题。一方面,传统信源信道联合编码问题往往通过分离定律将其分解为信源编码、信道编码等若干步骤。分离定律的基本理论是将通信的母问题分解为多
随着5G时代的来临和物联网（Internet of Things）的飞速发展,物联网智能设备不断普及,且数量飞速增加。各类监控器、感知器、包括人们日常使用的移动智能手机,每时每刻都在产生着大量的数据。硬件性能的提升使得互联网的边缘,大到宏基站,主交换机,小到网关服务器,边缘服务器甚至路由器等设备都具有了一定的计算和存储能力。因此,边缘计算的概念被提出来,将数据的实时计算和预处理从云端迁移到边缘,既
乘法运算一直是数字信号处理中不可或缺的数字逻辑运算操作,也是衡量很多数字信号处理器芯片运算性能的主要评价指标。一方面,为了实现较高的精度,数字信号处理器中通常在运算中使用浮点乘法器来代替定点乘法器。另一方面,近些年来在深度神经网络和一些图像处理等容错应用中,可以通过降低部分计算的精度来降低电路的功耗和提高运算性能。针对上述应用领域,本文在深入调研近似计算理论和乘法器电路结构的基础上,研究了近似乘法
情绪,是一种与思维、感知和行为相关的精神状态。探索情绪产生的机理以及情绪在各种不同条件和环境下的变化与特性,可以帮助人们更好地理解自己,可以为开发更加自然、友好的人机交互系统提供技术支撑,也可以帮助实现许多精神疾病的客观评估与辅助治疗。跨文化的情绪差异研究同样也是心理学、认知科学、神经科学和精神医学等学科的一个重要研究分支。已经有许多科学研究发现,对于不同文化背景的人群,对情感的理解存在共性与差异
随着计算机图形学的发展,人们开始对自然界各种物理现象进行模拟。其中,自然界的流体运动是一种看似简单却极为复杂的运动,模拟流体的运动在人们生活中应用极为广泛。然而,在众多流体模拟的算法中,传统数值方法都需要通过迭代运算,这种运算方式往往耗时很长,因此对流体模拟过程的加速研究尤为重要。近年来,在流体模拟的领域中,流体的特征提取是被人们广泛研究的课题。其中基于涡旋细丝的流体特征提取方法可以提供来自现实世
随着GPU的广泛使用,有关GPU资源利用率的提升问题也得到了广泛关注。单应用独占GPU或者时分共享GPU已经不能充分利用GPU上的大量资源了。空分共享GPU是一种常用的提升GPU资源利用率的方法。空分共享GPU可以利用程序之间资源互补来提升GPU资源利用率。现有的空分技术不能支持动态的改变程序的资源数量,单调的资源分配方式限制了应用程序充分利用资源的能力。本文实现了一种可以动态改变程序资源数量的进
为了推动高校教师及时转变角色，提升教育教学效果，本文在以往研究为基础，分析了智慧教育视域下，传统教学正面临的冲击，总结了高校教师角色内涵的拓展，最后探析了教师角色内涵拓展的具体路径。从而使高校教师角色内涵的拓展更有意义。
如今,人们用智能手机、数码相机等拍摄的照片越来越多,电脑上相册目录中的照片数量也迅速增长,对这些数字照片的管理变得不可缺少。一般的家庭相册中很大一部分是以人物为主题的照片,这些照片一般是按时间顺序展示的,但当需要查看包含某个人的所有照片时,存在不便于浏览、难以查找等缺点,而手动整理这些数量庞大的照片需要花费的时间和精力非常多。为了解决家庭相册难以管理的问题,本文设计并实现了一款相册管理系统,其基于