论文部分内容阅读
近年来，伴随着各种应用日新月异的发展，人们对集群文件系统提出了更全面更多样化的需求。文件的小粒度I/O请求的性能对于集群文件系统的整体性能有着越来越重要的影响，应用迫切需要集群文件系统为小粒度的文件I/O请求提供低延迟，高吞吐的服务。本文分析了影响小粒度I/O性能的重要因素，并结合目前国内外相关研究工作，为pNFS标准协议下的蓝鲸集群文件系统设计实现了一套可移植、自适应的优化机制。最后通过性能评测证明该优化机制实现的有效性。本文的主要研究成果如下：
设计并实现了基于静态阈值策略的带内外混合机制本文在基于BWFS文件系统的，单层元数据服务架构的pNFS文件系统基础之上，设计与实现了一套用于优化小粒：度I/O性能的基于静态阈值策略的带内外混合机制。该机制通过事先设置的I/O阈值分离客户端大粒度I/O和小粒度I/O的访问路径，使得小粒度I/O能通过带内访问的方式得到处理，避免了其通过带外访问时额外的性能开销，从而大幅的优化了小粒度I/O的性能。
研究与实现了基于动态阈值策略的带内外混合机制本文在基于静态阈值策略的系统基础上，研究并设计实现了一套基于动态阈值策略的带内外混合机制。解决了静态阈值策略在实际应用中缺乏灵活性和准确性的问题，使得系统的I/O阈值能根据系统的I/O负载自适应的变化，从而能最大限度的提升小粒度I/O的性能。
提出了高效的缓存一致性的解决方案在引入带内外混合机制优化小粒度I/O的同时，也由此引入了缓存中数据的多份副本而产生了数据一致性的问题。本文在带内外混合机制的基础上，设计并实现了一套高效简洁的缓存一致性解决方案，从而能够在不影响系统性能的前提下，正确的解决数据的一致性问题。
最后，我们使用了标准测试工具Fio、Postmark和生物基因计算应用ICT-BLAST程序对比评测了这一套机制实现的有效性。在针对小文件的Postmark测试中，其相对于其他策略的系统，聚合吞吐率有12.1％到68.1%的性能提升；在针对大文件的Fio测试中，其相对于其他策略的系统，聚合吞吐率有14.8%到300%的性能提升；在实际应用中，其相对于其他策略的系统，执行时间有8.3%到93.9%的减少。从而证明了该系统实现能自适应于系统负载动态调整阈值，使得在不影响大粒度I/O性能的前提下，有效的优化小粒度I/O性能从而使I/O整体性能最大化，具有很好的可实用性。