论文部分内容阅读
近年来机群系统凭借其良好的扩展性、可用性以及高性价比成为当前高性能计算机的主流体系结构。而由于磁盘性能的提升速度远远落后于CPU、内存以及通信网络带宽的发展速度，从而使得I/O子系统越来越成为机群系统的性能瓶颈。设计高性能的机群文件系统是缓解这一问题的重要手段。实际应用中所产生的数据可能在系统中不同的存储节点之间造成访问和存储的不均衡，从而导致某个节点成为系统的性能瓶颈，降低了系统的整体性能。高效的数据放置策略通过将数据在系统中所有存储节点之间合理有效地分布存放，充分利用所有节点的聚合带宽，提高系统的吞吐量，从而成为缓解或者消除I/O子系统性能瓶颈的重要技术。本文总结了影响机群文件系统I/O性能的数据放置的几个关键问题，并结合国内外相关研究工作，提出了有效的解决方案。主要研究内容及结果如下：
⑴提出了适用于目前机群系统中衡量节点负载的二元组方法及负载均衡机制。这种方法主要考虑节点的I/O访问负载，其次考虑节点的磁盘空间利用率。对节点的I/O访问负载失衡和磁盘空间利用饱和的情况进行区分，采取不同的数据迁移策略，使系统中的负载处于动态近似均衡状态，从而可以充分利用系统中所有节点的带宽，提高系统的I/O性能。
⑵提出了存放文件时基于负载的概率选择法。在选择文件的存放位置时，首先考虑节点的I/O访问负载。当访问负载不均衡时，以节点的访问负载大小所占比重的概率选择该节点进行存放；当访问负载近似均衡时，以节点的磁盘空间利用率所占比重的概率选择该节点进行存放。这种方法可以有效地支持多复本机制，同时还支持single、stripe两种不同的文件模式。实验测试表明，通过这种方法选择文件的存放位置，可以提高系统的吞吐量。
⑶提出了机群系统发生伸缩时的数据迁移策略。对节点失效的情况，首先基于负载进行快速的数据恢复，然后再进行负载均衡的数据迁移操作。对节点加入的情况，首先进行负载均衡的数据迁移操作，再将新节点投入到创建文件时的使用。通过采取不同的数据迁移机制，在保证系统数据可靠性的同时，又能尽量减小数据迁移对系统I/O性能的影响。通过这种方法进行节点伸缩时的数据迁移，可以提升节点动态变化时系统的吞吐量。