论文部分内容阅读
当前海量小文件访问性能瓶颈是现有分布式文件系统需要解决的问题,其主要表现在高比例元数据并发访问和高随机小粒度数据I/O访问。针对这些问题,本文以pNFS分布式文件系统为基础,研究设计实现海量小文件访问性能优化关键技术。本文设计实现了三种不同的优化技术,总结提出了一套基于授权机制的小文件访问优化框架。测试结果表明本文的所提出的方法能够显著改善原型系统小文件访问的性能。本文贡献和创新点如下:
设计实现只读目录授权机制,该机制在占用极少系统资源的情况下,能够增强目录元数据缓存的使用效果,标准测试工具测试结果显示,针对小文件应用场景,在没有目录访问冲突的情况下,该机制能够减少客户端17％至27％的发向服务端RPC的操作。
设计实现Open-layout预取技术,该技术针对分布式文件系统操作流程特点并结合预取思想,尤其针对读小文件的应用,将获取Layout映射信息操作的延时隐藏,测试结果显示该技术使得小文件的单个读写操作延迟减少30％至50％。
首次设计实现文件客户端Layout延迟分配技术,该技术通过预留资源的方式将客户端获取Layout的时机延后至写时分配,同时将分配方式改为客户端本地分配。该技术将与每个写操作相关的3次RPC操作减少为1次,同时聚合客户端的小写数据,通过带外方式直接回刷给存储设备,使得客户端在文件首次写的情况下相对原有系统其性能提升200％至256％。
首次提出基于授权的小文件访问优化框架,我们对该框架的贡献是实现了其中的目录授权机制,为进一步针对目录操作的优化打下良好的基础,同时借助文件授权机制,我们提出了客户端驱动元数据预取技术和客户端本地化操作技术的两个方向,并且给出实现实例。实例良好的效果说明基于授权机制的小文件访问优化的框架是切实有效的。