基于SSD的LSM-Tree键值存储技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:XYYWLC
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面对爆发式增长的海量数据,键值存储系统逐渐成为支持大规模应用程序的关键组件。一方面,基于闪存的固态存储器(SSD)有极高的读写性能,随着成本的下降,逐渐取代了传统的机械磁盘,广泛地应用于数据中心。另一方面,日志合并树(LSM-Tree)是键值存储的主流数据结构,对写进行优化。然而,LSM-Tree本身是为机械磁盘设计的,闪存拥有许多新特性,难以被高效利用。SSD为兼容传统系统构架,通过闪存转换层(FTL)屏蔽了这些特性。直接在通用SSD上部署LSM-Tree键值存储引擎,存在软件冗余,进而引发级联写放大,读性能差等问题。为解决上述问题,本文研究了键值存储系统架构,设计并仿真实现了键值固态存储器(KVSSD),该存储器将LSM-Tree结构嵌入到SSD设备中,通过键值接口直接提供服务,并结合软硬件特性优化了FTL的相关算法。首先,为支持键值接口,设计了基于NVMe协议的键值命令,对存储设备与主机间通信协议进行拓展,以适应提出的架构。然后,提出了面向LSM-Tree的FTL,通过挖掘LSM-Tree的语义信息和闪存的固有特性,对相关算法进行优化:(1)针对写放大问题,设计了感知层级的冷热数据分离算法以及稳定的贪婪垃圾回收算法。利用LSM-Tree不同层级SSTable生命周期不同的特性,将数据分类存储在闪存块中,且优先选择更稳定的高层级数据进行垃圾回收;(2)针对读性能问题,设计了SSTable存储结构优化算法。利用MLC闪存高低页面速度不对称的特性,将SSTable中读取频率较高的元数据分配到速度更块的闪存页面上,减小整体读时延。最后,在模拟器上实现了上述方案和算法。实验结果表明,相比使用传统SSD的键值存储系统,KVSSD的整体吞吐量在不同工作负载下提升了2倍左右,写放大减小了约50%。得益于面向LSM-Tree的FTL中多个优化算法,有效数据迁移显著减少,读时延降低,提高了键值存储系统的整体效率。
其他文献
《普通高中英语课程标准》(2017年版2020年修订)的核心理念是发展学生的英语学科核心素养,并提出教师应践行英语学习活动观,以整合课程内容促进学生核心素养的有效发展。所以,英语学习活动观作为桥梁沟通了课程目标和课程内容。当前,阅读课作为初中英语教学的主要课型,仍然存在着“表层化”和“碎片化”等问题,而采用英语学习活动观可以从学习理解类活动、应用实践类活动和迁移创新类活动逐步深入发展学生的英语学科
学位
2021年出版的《张枣诗文集·诗歌卷》共收录张枣1978年大学时期起至2010年写作的147首诗歌,其中包括旧体诗词2首,散文诗3首。从张枣现存的全部诗歌和论文来看,“元诗”一词是张枣创作的核心与批评的出发点。张枣的诗歌以简练却隐晦多义的语言组织方式构成了对精神现象与思维本体最直接最紧密的文学表达,追问元诗的本质即在追问张枣作品之整体风格、诗人写作的逻辑与动力,以及张枣诗学思想的本质与文学价值。本
学位
随着社会的发展,人类社会对石油这一能源的需求也在不断增加,为了降低石油勘探的风险与成本,油气系统逐渐朝着信息化、智能化的方向发展。但目前智能油气通信系统面临着两个重要难题:第一个是井下供能方面的难题;第二个是井下通信方面的难题,目前应用最为广泛的泥浆脉冲遥测技术,数据传输速率太慢,仅为40 bps/s左右,严重影响了实时通信的效率。针对上述两大难题,本文将自供能环境能量收集技术与低功耗通信系统结合
学位
互联网的规模日益庞大,结构日益复杂,网络拓扑探测技术面临着网络的异构性,多样性,大规模等特性带来的挑战。网络拓扑主动探测技术主要利用网络协议中的相关机制来进行网络拓扑探测,是一种通用性较高的网络探测技术。Traceroute是最为基础的网络拓扑主动探测技术。在现今网络普遍存在负载均衡的情况下,简单的Traceroute探测难以识别负载均衡中的并行路径,因此多路径探测算法(MDA)应运而生。但MDA
学位
中国一直很重视文艺事业的发展和对非物质文化遗产的保护,而舞蹈是其中一个十分重要的组成成分。对舞蹈动作进行分析,有利于对现有舞蹈动作的优化和改进,以及对传统舞蹈动作的理解和传承。随着线上教学的兴起,智能的舞蹈动作识别和分析更有利于舞蹈教学的开展。但是目前对该领域的研究仍然十分稀少,作为开展这些工作的基础,对舞蹈动作的识别就显得十分迫切,基于深度学习的舞蹈动作识别研究具有十分重要的现实意义。本文以舞蹈
学位
网络行为特征作为网络运行过程中的采集信息,是网络管理和安全状态检测的重要信息来源,往往表现为高维的时间序列数据集合。通过对网络行为特征的研究分析可以在一定程度上评价当前网络的运行情况,对于网络安全的保障具有重要的现实意义。然而,现有的研究方法难以完全满足高维度、成分复杂的网络行为特征时间序列分析需求,重点表现在两个方面:第一,现有的公开数据集往往时间周期短、样本数量不足;第二,针对多维特征的异常分
学位
人民防空作为现代国防的重要组成部分,是维护国家安全与社会建设成果的长期战略。在新的时代,人民防空由单一防空逐步向防空防灾一体化发展,人民防空不仅是战时减轻敌方空袭危害的决定性力量,也成为平时减灾救援的关键手段。在人民防空重要性日益凸显的背景下,如何克服传统人防指挥工作效率低下的缺点,高效高质完成指挥工作,成为各级人防部门急需研究与解决的重要问题。本文以某市人防指挥信息化建设为背景,遵循将互联网相关
学位
钻孔测井雷达发源于探地雷达,是其在石油测井领域的新型应用。按照工作体制划分,钻孔测井雷达又属于冲激体制雷达。这种雷达得名于其使用超宽带窄脉冲信号作为信息载体,其优点得益于这种信号的优良特征,具有很高分辨率,较远的探测距离和极强的穿透能力等特点,因此被广泛应用于一些很难直接探测到的环境中,例如地下、墙壁以及人体等。雷达接收机作为整个雷达系统的关键组成部分,是衡量整套系统的性能优劣的重要因素。钻孔测井
学位
数字孪生网络是近年来基于数字孪生理念,引出的一个新兴研究领域。数字孪生网络旨在通过创建的物理被测网络模型来构建对应的虚拟镜像网络。孪生网络与被测网络在网络结构、网络规模、网络状态等多个维度相互映射,并且两者可实现数据信息和控制信息的双向交互。数字孪生网络与传统网络仿真方法的主要区别在于是否能对被测网络进行全维度的状态感知并在孪生网络中与其实现双向快速同步,而这也是数字孪生网络的研究重点和难点所在。
学位
振动触觉与音乐的结合是人机交互与艺术结合研究热潮中的方向之一。振动触觉与音乐结合的研究核心在于运用振动触觉表征音乐信息,其难点在于音乐要素的振动触觉映射受到振动驱动器性能、音乐信号处理算法、多场景差异性等多方面因素影响,缺乏符合人体振动触觉感知特性、结合高性能算法、融合多要素映射的触觉交互研究以及针对乐器舞蹈学习辅助的振动触觉音乐应用研究。为解决上述问题,本文以国家重点研发计划项目为背景,旨在对音
学位