论文部分内容阅读
随着数据的爆炸式增长，分布式网络存储系统以高性能、高可靠性和大容量的优势成为当今研究的热点。为了在提高系统可靠性的同时降低容量开销，将传统集中式RAID技术引入分布式网络存储系统成为当前分布式存储系统研究中的一个重要方向。
BW-RAID集群存储系统采用双层混合式RAID架构，前端使用RAID1镜像避免集中控制的冗余计算带来的性能问题，后端进行异步冗余计算，通过数据版本管理保证冗余计算和业务访问的数据一致性，同时实现RAID1容量到RAID4容量的转换。数据版本管理是保证系统数据正确性和降低容量开销的关键组成部分，其设计的合理性和性能开销也直接影响整个BW-RAID系统的性能和可扩展能力。
本文研究BW-RAID系统中高效数据版本管理的相关技术，将主要功能切分为基于标准快照语义的数据版本控制和依赖于快照语义的镜像冗余消减两部分。
本文的研究主要取得了如下成果：
1)分层协同的数据版本控制的设计与实现
以标准快照方式实现数据版本控制，对快照实现模型做了深入分析，并通过与虚拟存储子系统的配合，实现了快照元数据消减，避免了元数据更新带来的性能问题，也避免了元数据内存开销和磁盘开销；通过与缓存子系统的配合，提升了缓存合并的效果，优化小写更新问题。以分层协同的方法实现的快照系统CMSD，系统性能较同类快照系统有明显提升，同时实现复杂度远低于同类快照系统。与LVSS相比，针对元数据的优化，源卷首次写性能提升198％-14%；针对小写更新问题的优化，源卷首次写性能提升233%-2.6%。同时，分层协同方式使得BW-RAID系统整体性能得到优化。
2)镜像冗余消减过程分步处理及在线镜像冗余消减算法设计
深入分析镜像冗余消减过程，将冗余消减过程分为冗余检测和冗余执行两个部分，通过缓存子系统、数据版本控制层及虚拟存储子系统的配合完成。提出在缓存子系统中实现冗余消减的方案以提高在线冗余消减方式的可控性。结合.Buddy缓存策略提出一种流水批处理式冗余消减算法，以批处理方式减小磁盘I/O开销，以流水方式使系统I/O资源与计算资源充分并行化，性能比在快照系统中实现的单粒度版本提升8.2-9.3倍。最后从缓存、版本控制及虚拟存储多个层次分别保证冗余消减过程中的数据一致性。