【摘 要】
：
随着网络服务的不断增长,尤其是近年来云存储的发展,使得需要存储的数据量越来越多。与此同时,数据价值的重要性使得企业和个人都难以容忍数据的丢失,大型商业应用对连续性存
【出 处】
：
中国科学院研究生院 中国科学院大学
论文部分内容阅读
随着网络服务的不断增长,尤其是近年来云存储的发展,使得需要存储的数据量越来越多。与此同时,数据价值的重要性使得企业和个人都难以容忍数据的丢失,大型商业应用对连续性存储服务的需求使得数据可靠性问题更加突出。随着网络集群技术的发展,使用网络文件系统存储数据成为一个热点技术。在其基础上做文件冗余备份来保证数据的可靠性也就成了必须要研究的内容。本文在分布式文件系统架构BWFS-pNFS之上实现了文件级副本,并研究其中存在的问题和瓶颈。主要研究内容和贡献如下:
提出了在BWFS-pNFS架构之上实现的文件级副本架构。该架构能够支持通用的POSIX接口,集成了pNFS易配置和插件化的特点。实现了在读写中进行客户端重构,避免了潜在的单点瓶颈。这套系统利用了文件级的元数据信息,可以更灵活的利用资源,维护一致性,并且具备高效的在线扩容机制和未来扩展到广域的能力。
对快速重构的问题进行了研究。磁盘容量的增长速度大于磁盘带宽的增长速度,当一块磁盘坏掉时,如何更有效的利用系统资源进行重构是所有数据冗余系统都面对的问题。我们在BWFS-pNFS的基础上实现了分布式重构,将重构任务分散到客户端执行以消除潜在瓶颈。在元数据段构建BackReference记录磁盘到文件的映射,从而快速查找出受损文件并进行更为准确的重构。
综上所述,本文在原有BWFS系统框架的基础上实现了文件级副本系统,针对对快速重构问题进行了研究和优化。对这套系统进行了原型实现验证。测试结果表明该系统的聚合读写性能随存储设备个数增加线性增长,满足了网络存储系统性能扩展性和容错能力的需要。
其他文献
信道编码技术为数字通信系统的可靠传输信息提供了有效的保障,低密度奇偶校验(LDPC)码是现今性能最接近香农限的一种信道编码。本文基于空间咨询委员会(CCSDS)推荐的深空通信
近年来，生化恐怖袭击事件日益增多，生化毒物释放后，会感染大量人群，且会对人体造成重大损害。及时监测出生化恐怖袭击事件，在生化恐怖袭击事件发生后，尽早地识别出毒物，有助于最大限
立体视频系统是一种面向未来的能够提供立体感和交互功能的视频系统,可广泛应用于数字化医疗、消费娱乐和远程教育等领域。立体图像在立体视频系统中经过采集、编码、传输、
由于可以方便的管理IP地址,动态的为网络中的客户端分配地址,从而方便的进行网络配置,DHCP服务成为网络基础性服务,在现代网络体系架构中被广泛采用。为了防止DHCP服务器的单
数据挖掘是在海量的数据中寻找模式或规则的过程。数据聚类则是数据挖掘中的一项重要技术,是人们认识和探索事物之间内在联系的有效手段,它既可以作为独立的数据挖掘工具,从
高精度时间数字转换器(TDC)用于将两个物理事件发生的时间间隔转化为数字量,广泛应用于核物理实验、空间科学、电力传输、同步授时、航空航天、芯片设计、卫星导航、数字通信
随着国民经济的快速发展,对煤炭等能源的需求量不断攀升,煤矿生产负荷过重,各类事故时有发生,如何提高煤矿生产的效率、确保生产的安全成为社会关注的热点问题。然而传统的煤
近年来，随着计算机和网络技术的迅速发展与广泛应用，社会的信息化程度不断提高，使用计算机和网络已经成为人们生活和工作中不可缺少的组成部分。同时人类社会对各种计算系统的可
随着集成电路的发展,功耗问题已经成为制约现代片上系统设计的重要因素。功耗的增加不仅导致芯片消耗更多的能量,增加芯片的封装和散热成本,而且会对芯片的性能和可靠性造成
嵌入标识是人工添加到视频上的具有特定含义的标识,如电视标识、栏目标识、网站标识等等。视频中的嵌入标识包含着重要的语义信息,对其识别可以为视频内容分析提供重要语义信