论文部分内容阅读
随着社会数字化、网络化、智能化的快速发展，以云计算、大数据、物联网为代表的新一代信息技术向计算机系统提出了新的需求，包括亟需对大量数据以及中间数据进行高效地计算和存储。然而，传统面向块设备的存储系统由于存储设备效率低、存储层次多不能有效满足日益增长的存储需求。近年来快速发展的新型非易失性内存具有存储密度高、访问延迟低、可按字节寻址、数据掉电不丢失等优点，构建面向非易失性内存的存储系统成为提升数据存取效率的有效方法。新的非易失性内存存储介质的引入对存储结构带来新的挑战，当前的系统软件和应用程序需要调整或重新设计以适应新介质的特征。
为此，本文从内存文件系统多粒度空间管理机制、面向NUMA架构的内存文件系统与虚拟机间的共享内存文件系统出发，研究面向新型非易失性内存的文件系统优化和共享文件系统。相对之前的研究工作，本研究致力于利用新型非易失性内存的优势提升存储系统的性能。本文主要研究内容如下：
1内存文件系统多粒度空间管理机制研究。随着接近DRAM速度的NVM和硬件加速在内存文件系统中的应用，写操作流程中重复地调用分配例程，申请空闲数据块、构建文件映射表，对写请求的性能影响越来越凸显。对此，设计了内存文件系统多粒度空间管理机制，提供以文件映射表构建的多粒度结构化大块，通过分配大粒度的块来减少对分配例程的调用次数，促进写操作的性能。针对不同模式的写操作提出了对应的空间分配算法以有效利用结构化大块。
2面向NUMA架构的内存文件系统研究。由快速总线连接的节点组成的NUMA架构计算机具有非一致的内存访问延迟和带宽，现有的内存文件系统由于其文件系统布局、物理空间管理、文件访问操作没有考虑NUMA架构的特性，在NUMA架构计算机中存在访问文件性能差异大、节点间文件请求负载不均衡等问题。对此，设计一个高效的面向NUMA架构的内存文件系统，根据NUMA节点设计分布式内存文件系统布局，每个节点管理部分元数据和文件数据，以平衡各个节点上的文件请求负载。基于分布式文件系统布局，提出面向节点的文件创建方法、面向文件的线程绑定方法及用户缓冲区分配方法，优化访问文件的性能。
3面向同驻虚拟机的高效共享内存文件系统研究。针对同驻一台物理机上的多个虚拟机，共享文件系统是提高文件传输性能的有效途径。新型非易失性内存可作为高性能共享文件系统的存储设备。现有的共享文件系统的设计是基于虚拟I/O或网络通信，未考虑新型非易失性内存的优良特性，不能充分发挥其性能优势。为此，提出一个新型共享内存文件系统设计，在虚拟机之间、虚拟机与宿主机之间提供高效的文件共享机制。在该设计中，共享文件系统被安装在虚拟机与宿主机共享的非易失性内存中，通过共享的页表组织共享文件的数据页。共享文件系统使用虚拟地址空间和处理器中既有的硬件MMU直接访问共享文件，减少文件访问I/O的软件层次和数据拷贝产生的性能开销。此外，对共享数据的并发访问和一致性提供高效的同步机制。
本文进一步通过实验对所提出的空间管理机制和文件系统进行了验证。实验结果表明上述技术能够有效地促进文件访问的性能，为上层应用提供有效的数据存储和处理服务。本文充分利用新型非易失性内存的优良特征，开展了内存文件系统性能优化及共享内存文件系统的研究，能够较好地应对即将到来的新型存储时代，促进云计算与大数据领域的发展。
为此，本文从内存文件系统多粒度空间管理机制、面向NUMA架构的内存文件系统与虚拟机间的共享内存文件系统出发，研究面向新型非易失性内存的文件系统优化和共享文件系统。相对之前的研究工作，本研究致力于利用新型非易失性内存的优势提升存储系统的性能。本文主要研究内容如下：
1内存文件系统多粒度空间管理机制研究。随着接近DRAM速度的NVM和硬件加速在内存文件系统中的应用，写操作流程中重复地调用分配例程，申请空闲数据块、构建文件映射表，对写请求的性能影响越来越凸显。对此，设计了内存文件系统多粒度空间管理机制，提供以文件映射表构建的多粒度结构化大块，通过分配大粒度的块来减少对分配例程的调用次数，促进写操作的性能。针对不同模式的写操作提出了对应的空间分配算法以有效利用结构化大块。
2面向NUMA架构的内存文件系统研究。由快速总线连接的节点组成的NUMA架构计算机具有非一致的内存访问延迟和带宽，现有的内存文件系统由于其文件系统布局、物理空间管理、文件访问操作没有考虑NUMA架构的特性，在NUMA架构计算机中存在访问文件性能差异大、节点间文件请求负载不均衡等问题。对此，设计一个高效的面向NUMA架构的内存文件系统，根据NUMA节点设计分布式内存文件系统布局，每个节点管理部分元数据和文件数据，以平衡各个节点上的文件请求负载。基于分布式文件系统布局，提出面向节点的文件创建方法、面向文件的线程绑定方法及用户缓冲区分配方法，优化访问文件的性能。
3面向同驻虚拟机的高效共享内存文件系统研究。针对同驻一台物理机上的多个虚拟机，共享文件系统是提高文件传输性能的有效途径。新型非易失性内存可作为高性能共享文件系统的存储设备。现有的共享文件系统的设计是基于虚拟I/O或网络通信，未考虑新型非易失性内存的优良特性，不能充分发挥其性能优势。为此，提出一个新型共享内存文件系统设计，在虚拟机之间、虚拟机与宿主机之间提供高效的文件共享机制。在该设计中，共享文件系统被安装在虚拟机与宿主机共享的非易失性内存中，通过共享的页表组织共享文件的数据页。共享文件系统使用虚拟地址空间和处理器中既有的硬件MMU直接访问共享文件，减少文件访问I/O的软件层次和数据拷贝产生的性能开销。此外，对共享数据的并发访问和一致性提供高效的同步机制。
本文进一步通过实验对所提出的空间管理机制和文件系统进行了验证。实验结果表明上述技术能够有效地促进文件访问的性能，为上层应用提供有效的数据存储和处理服务。本文充分利用新型非易失性内存的优良特征，开展了内存文件系统性能优化及共享内存文件系统的研究，能够较好地应对即将到来的新型存储时代，促进云计算与大数据领域的发展。