网络存储系统的二级缓存替换算法研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:jjandrew1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的不断发展,需要保存和处理的信息量日益增加,对存储系统在存储容量、数据可用性以及I/O性能等方面提出了越来越高的要求。信息技术正在从以计算为核心的计算时代进入到以存储为核心的存储时代。网络存储系统因其高性能、高可扩展、高可用性、高可管理性等特点在信息的存储和管理中扮演了越来越重要的角色。   在开放的网络存储系统中,为了满足其对高性能的需求,数据往往被缓存在I/O数据通路的各个层次,从而成了多级缓存架构,其中二级缓存的访问模式与一级缓存的访问模式有着很大的不同,具有较少的局部性,传统的适用于一级缓存的LRu及其变种算法难以适用于二级缓存的管理。   本文主要研究了在网络存储系统中几种典型工作负载下的二级缓存访问模式,通过对二级缓存访问纪录进行时域和频域以及命中率的分析,归纳出二级缓存访问模式的五个特征:1)相同数据被访问的时间间隔较长;2)具有相当数量的一次性访问请求;3)不存在短期过热访问导致缓存块的访问频率异常偏高的情况;4)多次被访问的数据非常有可能被继续访问;5)访问请求偏重于顺序和循环访问模式。   综合考虑以上二级缓存访问模式的特征,我们提出了一种新的针对二级缓存访问模式的高效的在线缓存替换算法MRLFU,MRLFu结合MRU和LFU算法的思想,主要考虑访问请求的频域特征并尽量避免缓存一级缓存已经缓存的数据,访问记录驱动的模拟测试结果表明,MRLFU算法在二级缓存访问记录下与LRU、ARC、MQ等算法相比具有明显的优势,在网页搜索工作负载下其命中率甚至比其它算法高几个数量级。   为了降低MRLFu算法的复杂性,提出了其优化算法MRLFU2,MRLFU2算法的时间复杂度为O(1),实现复杂度与LRU算法类似,并且不存在需要静态调整的参数。模拟测试结果表明MRLFU和MRLFU2算法在所有测试中表现基本相同,命中率相对误差最多不超过10%,绝对误差最多不超过1.5个百分点。   为了验证模拟测试的结果,在实际系统中实现MRLFU2算法和LRU算法,通过对这两种算法进行对比的性能测试,验证了在联机事务处理工作负载下MRLFU2算法的有效性。
其他文献
多表征模型组合仿真是可组合仿真、遗留系统集成的重要研究领域,也是多表征建模与仿真的一项关键技术,无论在理论研究还是实际应用上都有重要意义。本文针对多表征模型组合仿真
本文提出一种基于阴影图[1]预滤波的伪柔和阴影实时绘制算法。   阴影是真实世界中的一种十分普遍的物理现象,它不但可以反映物体自身的形状,而且可以反映空间中物体与物体
语义Web是现有Web的一个语义延伸,目标是使Web的应用具有一定的智能,能够进行更准确的信息搜索和一定的决策支持,帮助用户自动完成一些任务。语义Web的实现需要人工智能、数据库
服务发现协议(Service Discovery Protocol)是支持程序和设备自动发现并访问网络中所需服务的协议,是分布式环境特别是普适环境下进行资源共享、数据集成、流程协作的前提。目
随着安全操作系统面临的安全威胁种类越来越多,最小特权原则的有效实施成为降低系统安全风险的必要安全保障。然而从现有研究的成果来看,还存在一些不足:如对最小特权原则研究的
网络流量分类是多项网络研究工作的前提和基础,一直是网络研究领域的热点问题。近年来,随着互联网技术的发展,新型网络应用不断涌现,给现有的流量分类技术带来了一系列挑战。本文
金融衍生品领域的高效数值模拟计算是当前的研究热点,描述金融衍生品定价的Black-Scholes方程,其参数的改进和数值求解对计算结果与实际结果的拟合,会产生大的影响。本文对Black
随着集成电路的发展速度仍然按照摩尔定律推进,集成电路的功能和复杂性越来越高,对高性能集成电路的测试提出了新的要求。测试和可测试性设计的地位日趋重要。通常测试高性能集
MPI是分布式内存并行处理计算机上开发基于消息传递应用系统的事实标准,主要用于并行计算机和集群的高性能运算,MPICH是其重要实现。MPI程序可能发生死锁,而且调试困难,国际上主
负载平衡是并行计算中的一个重点研究领域,节点间负载的不平衡会严重影响并行计算的效率。负载平衡算法按照调度时可用资源信息和任务运行状态的即时性可划分为静态和动态两种