论文部分内容阅读
随着高性能计算技术的发展,高性能计算机系统性能不断提升。当前,高性能计算已经进入PetaFLOPS时代,并开始向Exascale时代进发。与之同时,数据存储也超过Petabyte量级。作为高性能计算机系统最重要部分之一的存储系统,其性能的改进远比不上计算性能的提升,存储系统性能与计算性能之间的不匹配制约了高性能计算机整体系统性能的发挥。本文针对HPC系统中突出的I/O瓶颈问题,结合石油地震勘探数据处理应用,从文件系统、存储系统架构等方面进行了研究,为解决当前及未来Exascale计算条件下I/O系统的问题提出了一些解决方案。本文首先对分布式文件系统进行了研究,分布式文件系统是高性能计算机存储系统的直接管理者,其管理方式直接影响存储系统性能的发挥。本文具体分析了当前HPC系统广泛使用的Lustre文件系统的构成、数据读写流程、加解锁流程以及Lustre文件系统的Cache策略,指出了Lustre文件系统当前存在的不足。然后,以高性能计算机系统计算密集型和I/O密集型的典型应用——石油地震勘探数据处理为例,研究了它的数据处理I/O流程、分析了I/O模式和I/O特性,指出了在石油地震勘探数据处理应用下I/O系统存在的问题。本文针对I/O系统中存在的存储服务器端磁盘带宽输出不足、系统聚合带宽不够等问题,提出了VDISK方法。利用计算节点的内存资源存放服务器端的数据,代理存储服务器向其他计算节点提供此数据,从而减轻了存储服务器端的压力,提升了存储系统的聚合带宽。通过模拟,验证了VDISK方法能够有效提高存储系统输出带宽,缓解服务器访问瓶颈。最后,针对石油地震勘探数据处理中暴露的I/O问题,本文从存储系统结构的角度对改进I/O系统综合性能进行了研究,提出了分级存储系统结构。通过在计算节点本地增加存储资源,与全局存储一起向计算节点提供所需要的数据,以期有效突破I/O瓶颈,提高HPC系统整体性能。本文提出了三种分级存储系统的管理方案,最后实现了分级存储系统原型。