【摘 要】
：
随着海量数据的产生,数据出错变得愈发常见,容错成为存储系统不可或缺的一部分,纠删码技术是目前分布式存储系统广泛应用的容错技术,相较于传统的多副本冗余技术节约了大量的存储开销。为使分布式存储系统同时具有高性能和高可靠性,具有高访问性能的内存存储结合纠删码技术被广泛应用在分布式存储系统中。然而集群的扩展导致节点性能降级现象频发,出现严重的长尾延迟问题,尾延迟虽然占比少,但在分布式存储系统中却成为了系统
论文部分内容阅读
随着海量数据的产生,数据出错变得愈发常见,容错成为存储系统不可或缺的一部分,纠删码技术是目前分布式存储系统广泛应用的容错技术,相较于传统的多副本冗余技术节约了大量的存储开销。为使分布式存储系统同时具有高性能和高可靠性,具有高访问性能的内存存储结合纠删码技术被广泛应用在分布式存储系统中。然而集群的扩展导致节点性能降级现象频发,出现严重的长尾延迟问题,尾延迟虽然占比少,但在分布式存储系统中却成为了系统的性能瓶颈。为了降低基于内存的纠删码存储系统尾延迟问题并提升系统的访问性能,本文的主要工作如下:1.设计了基于纠删码内存存储系统长尾延迟的场景。由于用于实验的小规模集群较难出现性能降级节点,因此构造出长尾延迟场景是必要的。本文根据已有工作对内存存储节点性能降级的原因分析规律统计,模拟内存节点性能降级的持续时间以及响应缓慢程度,设计出内存存储系统中长尾延迟场景。2.提出了一种降低长尾延迟的算法Short Tail。（1）设计了一种用于识别性能降级节点的轻量级请求监测算法。该算法监测每个内存节点的访问性能,根据时间片内全部请求的平均延迟识别性能降级节点并对其进行标记。当节点被标记为性能降级状态时,定时发送探针请求来检测节点性能是否恢复正常。（2）提出了对性能降级节点读请求的规避方法和写请求的规避方法。根据节点是否处于性能降级状态,有选择的执行降级读操作以规避对性能降级节点的读请求;为规避对性能降级节点的写请求,通过重定向写入性能正常的内存节点进行规避,设计了一种低复杂度和低空间开销的重定向节点选择算法保证容错规则和负载均衡。（3）提出了一种优化小写请求的自适应写策略。本文发现并分析了小写请求与长尾延迟、存储效率与访问性能的关系,使用自适应写策略选择纠删码或多副本存储数据,以减少小写请求带来的写放大问题。3.实现了一个具有稳定性能和低读写延迟的内存存储系统,并进行了性能测试。本文实现的系统使用Memcached存储和访问数据,并使用YCSB与Usr＿1负载进行测试。实验测试结果表明:相较于两种对比方法,Shor Tail最高降低了63.77%的P99尾部延迟;Short Tail在中位延迟和平均延迟方面也有明显改进,且不会影响系统在正常情况下的访问性能;经过参数选择实验表明了Short Tail对可变参数选择的有效性。
其他文献
潜在的网络安全问题促使研究人员急需搭建一个可控、可管、可信、可按需定制的网络实验平台,使之能够模拟各种可能遭遇的网络攻击场景。在这种背景下孪生网络诞生了,作为数字孪生网络的虚拟部分,具有与真实被测网络一致的拓扑结构,部署着与真实被测网络一致的业务应用等。孪生网络的构建离不开真实被测网络,虽然现实中存在数千甚至上万节点规模的真实被测网络,但是在实验室环境下,很难用真实的物理设备去构建如此大规模的被测
随着互联网的发展与进步,各种社交网络应用产生的数据量呈指数增长,此类数据是人类自然社会关系的直观表示,存在网状拓扑复杂和跨媒体异构等特点,可从中挖掘出更深层次的语义信息。但是,目前在此类社交网络用户数据的存储与处理技术方面依然存在一些必须解决的关键问题,包括:1)如何针对社交网络中海量用户的网状拓扑和用户属性信息进行高效爬取,形成对图数据的导入能力;2)如何对网状拓扑数据进行高效存储引擎设计,以提
随着边缘计算的蓬勃发展,越来越多的计算任务将下沉到边缘节点,这些计算任务在边缘采集、处理并存储海量数据。伴随着数据量的不断增长,边缘有限的存储能力将不再足以支撑边缘计算所产生的数据量。传统的分布式存储系统所面向的存储场景多是大型存储机房,并且出于通用性考虑,往往同时提供文件、块、对象存储功能,而这会使得存储系统过于臃肿,运行这类存储系统会过度消耗边缘的存储和计算资源,从而影响边缘计算任务的执行效率
在文化消费时代下,人们的消费行为是社会经济发展最直接的反应。简单复刻、文化特征泛化、文化消费主体模糊、消费体验偏弱、与现代消费语境脱离是多数民族地区文博文创产品开发现状。而芭比娃娃,作为美国20世纪末较有影响力的文化图标,为文化消费提供了一个流行文化范本。本文意在从文化消费视角研究文博文创产品,通过对当代文化消费特征的总结,结合文化消费主体的审美偏好,推导出“蒙古芭比”文博文创产品的创新方法和策略
随着电子技术与互联网技术的高速发展,智能硬件的需求不断增加。在绝大部分智能硬件中,网络通信和数据传输的功能必不可少。使用以单片机为核心的嵌入式系统来进行网络通信是现今互联网通信行业的一个重要组成部分。随着移动无线网络技术的迅速发展,LTE已经十分成熟,不仅广泛运用于智能手机,还可以运用在各种智能硬件之中。由于智能硬件大量部署的需求,成本控制便成了不可或缺的环节。在低成本的单片机平台上,运算性能和内
草原丝绸之路作为历史文化遗产,对其进行保护和展示具有重要意义。草原丝绸之路主题展示空间承载着草原丝绸之路文化、历史、文物、精神等方面的展示,是宣传与学习草原丝绸之路精神文明的重要场所。研究通过建筑空间叙事理论对草原丝绸之路主题展示空间进行设计创新,解决当下草原丝绸之路主题展示空间呈现出的展示空间与展示内容割裂的问题。研究使用文献分析法、实地调研法、案例分析法和跨学科研究法对草原丝绸之路主题展示空间
迄今为止,高强度间歇性训练的发展已有100多年的历史,被广泛运用于医疗健康、大众健身、专项训练中。前人研究多表明高强度间歇性训练具有增强人的心肺功能、降低体重、提高运动成绩以及技战术能力的作用。鉴于高强度间歇性训练法具有增强运动员的心肺功能、提高运动成绩的优势,笔者文中采用文献资料法、专家访谈法、实验法、对比分析法等方法在内蒙古师范大学自行车专项训练队中选取12名学生进行高强性间歇实验训练,将实验
目的:运动智能是CUBA参赛运动员综合竞技能力的重要组成部分,随着目前CUBA赛事竞赛水平的提升以及学校对高校高水平篮球队建设的重视等,对于CUBA参赛运动员的运动智能水平必然会有着进一步的增加。运动智能是在思维意识与专项技战术相结合的前提下实现训练目标或完成比赛任务的能力,其对于运动员竞技能力的发挥至关重要,因此分析CUBA参赛运动员运动智能的影响因素,就能够更加具有针对性地提升CUBA参赛运动
河北省自行车项目曾在中国竞技自行车史上创下许多纪录,河北队员曾多次代表中国参加国际自行车大赛并取得了骄人的成绩,当时的河北省自行车项目在全国同行业中处于领先水平。而近年来河北省自行车水平处于逐渐下滑阶段。究其原因,河北省竞技自行车后备人才培养的体制、机制、模式是不可忽视的关键因素,所以有必要对后备人才的培养工作进行研究,以找出其中的问题并对河北省竞技自行车后备人才的培养工作提出有针对性建议,以提高
在嵌入式系统中进行实时的音频信号处理不仅要求处理系统具有足额的并行处理能力,同时由于不同应用场景下的不同精度需求,系统也需要保留一定通用性以覆盖更多的应用场景,向量处理器则恰好能同时满足这两点。RISC-V向量指令集作为近年来最新出现的向量体系结构指令集,与其余向量指令集的架构定义相比,RISC-V向量指令集的指令功能更为独立,对任意向量长度处理更为简洁,指令编码与RISC-V标量指令集也高度匹配