论文部分内容阅读
随着Internet技术的发展,社会的信息化程度进一步提高,越来越多的面向海量数据管理的大型应用(如流媒体、大型中央平台等)不断涌现。传统的DAS体系结构下的存储系统已经远远不能满足需求,基于网络存储技术的NAS、SAN体系结构的存储系统在一定程度上解决了传统存储系统的扩展性和数据传输速度的问题,改变了以服务器为中心的存储架构,但文件服务器仍然是整个存储系统性能提升的瓶颈。分布式存储能提高存储系统的性能,尤其是在系统的扩展性方面,但管理和维护分布式存储系统的成本很高。将分布式存储系统与传统的集中式存储系统结合起来,将系统中的存储节点直接接入网络实现与用户的直接数据交互,由文件服务器统一管理就能够充分结合两者的优势,从而实现一种文件集中管理,数据分布存储的海量存储系统。这种海量存储系统实现了命令与数据的分离,消除了服务器的瓶颈。同时,可以针对系统中的存储节点配置网络通道,体现出了海量存储系统扩容的思想。存储市场上各大公司竞争激烈,海量存储系统不可避免的要面对异构节点的增加的情况,存储节点的管理会更加复杂。存储虚拟化技术实现基于存储设备的虚拟化,将存储系统中各种异构的存储资源统一成单一的逻辑视图,对于有效利用系统中的各种异构资源,实现高性能数据传输重要的作用。区别于传统存储系统的特征,双通道磁盘阵列的使用,海量的用户请求,决定了HW-MSS在时空并行性方面有很大的提升空间。冗余磁盘阵列的使用和系统的高扩展性带来了系统空间并行性的提升。流水线调度机制实现用户与磁盘阵列的数据交互过程的并行,则是在时间并行性方面实现对系统整体性能的提高。在分布存储、集中管理的海量存储系统中,屏蔽硬件差别的存储虚拟化技术和提高时空并行性的流水线技术是对海量存储系统整体性能影响较大的两个关键点,本论文主要研究如何有效地实现这两个关键技术。