United-FS 的数据放置策略研究

来源 :2008年全国高性能计算机学术年会 | 被引量 : 0次 | 上传用户:kk77763
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
存储服务器是机群系统中的重要组成部分。随着硬件的发展,集中式的存储服务器可以提供更大的容量和带宽,可以同时为更多的高性能计算应用提供存储服务。然而,每个应用具有不同的负载特征,不同的存储部件以及本地文件系统也具有不同的特征,单一的存储模式难以为多样的I/O负载提供高效的存储。因此如何根据负载特征及存储部件的特征,将数据放置在合适的存储部件上成为一个关键问题。本文提出了并且在United-FS文件系统中实现了一种面向负载特征及存储特征的灵活的放置策略。该策略将不同特征的负载相分离,将数据放置在最适合于该负载特征的底层存储上,同时能够充分利用存储的并发性。实验结果表明,这种灵活的数据放置策略对不同的负载类型均能表现出很好的性能。
其他文献
随着多核处理器的发展,片外访存带宽逐渐成为影响程序性能的主要因素。为了解决这个问题,很多研究工作通过提高cache利用率来降低程序执行过程中的片外访存数量。本文提出了一
会议
以双核、四核处理器为代表的多核计算平台正在逐步成为服务器的主流架构,在这种架构下传统的遥感图像并行处理算法的性能问题成为随之而来的问题。本文通过在多核服务器平台和
会议
文件快照是文件数据在某个时刻的映像。本文结合Lustre文件系统提出通过扩展文件inode和数据对象快照来实现的文件快照的一种方法。
在超标量微处理器中,寄存器重命名是支持指令动态调度和乱序执行的重要技术之一,与微处理器的性能密切相关,传统的寄存器重命名技术中存在一定的缺陷。本文针对这些缺陷提出了两
计算进入了多核时代,处理器的发展不再由更快的主频带动,而是依靠增加片上的多个核心。但是,对于高性能应用来说,多核平台的并行处理由于缺少适合的并行程序开发工具还处于初始阶
会议
Panasas存储集群系统提供了一种软硬件一体化的集成存储解决方案。系统提供的PanFS并行文件系统是一个以对象为基础架构的可扩展的分布式文件系统。Panasas提供了巨大的数据
会议
袁家骅先生是江苏省常熟人,自幼勤奋好学,成绩优异。他年轻时热心于文学,曾撰《唯情哲学》。据载,他曾与创造社郭沫若、成仿吾、郁达夫等人往来。后他考入北大英文系,毕业后
沼液、沼渣的养分全面,且缓速兼备,是非常好的有机肥,沼液浇施果树有一简便且较持久的穴施方法,即在果树周围挖若干个坑,并逐年向外围增加。挖坑时间一般选择在秋冬季节施入
本文介绍了一种基于文件分条的网络数据RAID5校验冗余算法,及其实现方法,该方法尤其适用于海量存储系统。
Lustre是目前应用范围最广的并行文件系统之一。本文对软RAID上影响Lustre的诸多性能影响要素进行了考量,分析了性能差异的原因并寻求优化配置方案,对获得Lustre文件系统的高I/