【摘 要】
：
为了解决海量信息处理中实时访问中的“IO墙”的问题，提高海量信息分布式存储系统的性能问题，提出了一种基于HPC的存储部件新型访问策略。首先，分析传统访问模型存在的问题；其次，研究存储部件直通路模式的工作机理，建立存储系统分解为多层次、分布式的模型，根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射；第三，分析直通路访问模式下的存储路径时间开销；第四，在模拟环境下
【机 构】
：
Jiangnan Institute of Computing Technology Wuxi 214083 China
论文部分内容阅读
为了解决海量信息处理中实时访问中的“IO墙”的问题，提高海量信息分布式存储系统的性能问题，提出了一种基于HPC的存储部件新型访问策略。首先，分析传统访问模型存在的问题；其次，研究存储部件直通路模式的工作机理，建立存储系统分解为多层次、分布式的模型，根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射；第三，分析直通路访问模式下的存储路径时间开销；第四，在模拟环境下存储部件访问的性能测试，在实际采用该策略的应用系统中进行验证。通过验证测试结果表明，该方法能有效地提高了存储系统的性能，能够不断满足海量信息处理实时需要。
其他文献
目前Linux操作系统软RAID采用位图记录某个区域是否有写的状态。每次写处理之前都要修改位图，并将住图重写回磁盘，对写性能损耗很大。为降低位图对性能的损耗，提高RAID读写性能，研究人员对RAID读写进行深入研究，分析了提高位图重写效率的多种策略，文章提出了一种基于高速通信链路的位图备份方法，并通过实验试验证明该方法能够有效提升写性能。
可信存储的发展为解决移动存储设备的安全问题提供了新的途径。本文从移动存储设备的安全需求出发，首先提出了基于可信存储技术的可信存储框架。然后在可信存储框架的基础上，研究了可信硬件和可信保护机制等关键技术，最终实现了一种能够保护用户数据机密性和隐私性的可信移动存储设备。最后对该设备的安全性和性能进行了测试，并组织了试用。结果表明，该设备能够阻止文档内容泄露，满足数据的可信存储、流转等需求。
单核处理器中已有的“存储墙”问题在多核处理器中依然存在，甚至更加严重。存储系统仍将是影响计算机系统性能的瓶颈。除了“存储墙”问题外，多核处理器中，存储系统的设计还面临线程间访存冲突、访存带宽有限、应用行为多样等挑战，针对这些挑战研究多核处理器存储资源的管理技术对提升系统性能具有重要意义。本文提出一种应用行为感知的多核处理器共享存储资源软硬件协同管理框架，依据应用的行为特征，由硬件和软件协同对多核处
数据处理和高性能计算对计算机系统高带宽大容量内存提出了迫切需求，低负载内存模块有效减小了数据总线的驱动负载，提高了系统的工作频率，增大了内存模块的存储容量，较好地解决了带宽与容量之间矛盾.本文分析了内存模块的发展变化，研究了低负载内存模块的关键技术，探索了在现有计算机系统中使用与配置低负载内存模块的技术与方法.LRDIMM能够成功应用于RDIMM系统中，在不降低系统工作频率的前提下，有效地扩展系统
海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。本文系统地总结了当前流行的分布式文件系统在小文件处理方面所做的优化工作，分析了它们的优缺点，得出基于合并存储技术的分布式文件系统适合处理海量小文件的结论，并指出未来的三个提高数据访问性能的研究方向：1)体系结构优化，采用一致性DHT技术来组织数据服务器，消除元数据服务器访问开销；2)基于裸盘文件系统的随机均匀文件访问优化；3)基于S
分布式海量存储系统已成为当今海量信息存储一个典型的解决方案，而客户端元数据交互性能很容易成为这一方案的瓶颈所在。本文关注提高分布式系统客户端元数据交互的性能，提出了衡量元数据交互性能的公式及影响性能的两个要素：缓存命中率以及带宽利用率。接着分别分析了现存分布式文件系统是怎样针对这两个要素做优化，以提高客户端元数据交互性能。本文进一步提出了三档缓存方案以及用户自定义预取集的策略，在保证一致性的同时，
本文介绍了Lustre分布式文件系统的架构、主要组件以及LNET网络层，分析了客户端的初始化和连接建立，在此基础上，设计了Lustre分布式文件系统网络容错功能，提高了系统可用性，并提出统一配置，使得两套Infiniband网络负载均衡，从而获得更高的聚合带宽和整体性能。
Windows作为客户端操作系统的集群开始涌现，如何实现windows和linux异构系统共同对linux服务器的分布式文件系统访问？本文分析了windows和linux操作系统之间的一些差异，以及现有的实现异构访问的技术手段，主要是基于windows下用户层开发的IFS和CIFS两种协议。本文选取了基于ssh文件传输协议的sshfs做了初步的实验，并根据实验对下一步实现windows客户端的分布
对广域网上多个节点进行文件同步，因节点频繁的加入与离开使得直接的点对点同步不可行。对文件更新的发现，单一的采用基于状态比对和追踪文件变化过程都不可取，前者因频繁计算副本状态资源消耗过大，后者需要保存信息量会无限增长。在应用其它节点更新时，为获得更高的可用性，不能阻断用户对被同步文件的访问，从而引入了一种新的冲突类型。文中遵循乐观复制算法，采用星型结构连接副本节点，融合了状态和操作传输，实现了一个节
随着高性能计算机进入千万亿次时代,其存储系统所面临的扩展性难题更加突出,为了提高存储系统扩展性,一些高性能计算机使用了IO转发机制。该机制在全局存储和计算节点之间构建了一个转发层,计算节点的IO请求首先到达转发层,并由转发层在全局存储系统上执行。轻量级文件系统(Light Weight File System,LWFS)是一种适用于通用架构的转发系统,目前已经在神威蓝光计算机系统等多个高性能计算系