论文部分内容阅读
互联网的普及和服务器应用的的发展,对服务器端文件系统的性能提出了更高的要求.传统的单机文件系统已经不能满足服务器端负载对于文件系统在数据读写带宽、元数据访问吞吐率以及响应时间方面的需求.因此为服务器设计和开发专用的文件系统,并针对服务器端应用的负载进行优化,成为文件系统研究中的重要内容.
本文从分析服务器端负载对于文件系统的性能需求出发,提出了构造高性能服务器端文件系统SilkFS的方法和关键技术,包括基于多个物理文件系统构造逻辑文件系统的思想、把数据和元数据分离存储的策略、用附着属性存储元数据的技术、以及使用多种数据分布存储策略等.在SilkFS的基础上,本文对服务器端文件系统性能优化的若干关键问题进行了讨论和分析,通过理论模型和实际测试,研究了引起性能问题的原因,并提出了对应的优化方法和技术,包括:
1. 提出了基于部分数据直接附着在元数据文件DIM技术和延迟创建数据存储文件的方法来优化小文件的创建性能,解决了创建文件操作中,同步创建元数据和数据文件引起的响应时间长、小文件的创建性能不高的问题.
2.证实了在stripe分布下,CPU资源限制和I/O线程机制带来的线程切换开销是写带宽不足的主要原因,多个读操作请求之间存在相互交错等待问题是并发读带宽不足的主要原因,并提出了基于延迟写来优化写带宽和基于大粒度预读来优化读带宽的技术.
3.提出了专为共享文件访问模式设计的BigSlripe数据分布,通过按照进程划分存储区域的方法和细粒度的双层分段锁技术来优化共享文件模式下的读写带宽,解决了在科学计算应用中常见的多进程共享文件的访问模式下,传统文件系统普遍存在的读写区域跳动和写操作锁冲突造成的聚合带宽不足问题.
本文还对优化后的SilkFS文件系统的各方面性能进行了综合测试和评估,测试结果显示,SilkFS文件系统在元数据性能、并发读写聚合带宽、Postmark测试、IOR测试中,都表现出了比较好的性能.体现了SilkFS文件系统作为服务器端文件系统设计上的优势和性能优化的良好效果.