论文部分内容阅读
信息技术的迅猛发展使得互联网中数据量急速增长,云计算在大数据中应运而生。云存储系统是云计算的基础,它利用大量分布式的廉价存储资源为用户提供了容量大、性能高的存储服务。副本管理技术是云存储系统的关键技术之一,它可以提高系统的可靠性、容错性和扩展性,增强用户访问的并发性,提高系统服务性能。HDFS作为开源的分布式存储系统,目前已经得到广泛的应用。虽然HDFS自身存储能力很有优势,但副本管理策略中仍然有不足的地方。本文详细介绍了 HDFS中副本管理的流程,分析了大量并发用户访问场景下影响系统存储性能的各项因素,综合考虑用户的访问行为、系统节点的服务代价以及负载均衡等方面,本文提出了一种新的动态副本管理策略,主要工作如下:(1)HDFS中副本放置策略没有考虑到节点的异构性,若性能低的节点放置了太多的数据,在读取时会造成负载很重,从而带来负载不均衡,影响系统的服务能力。本文提出基于节点选择代价的副本放置策略,考虑节点本身性能以及网络带宽的影响,逐个选出副本放置的所有目标节点。(2)HDFS中默认副本策略在系统运行过程中不改变副本个数,这对于访问频率很高的文件所在的节点是一个瓶颈。本文提出基于多阶段访问频率的动态副本创建策略,根据多个时间段的文件热度动态增加文件副本。该策略有效增加了系统响应速度,减少了作业完成时间。同时对于长期不使用的副本进行删除,减少资源的浪费和管理成本。(3)为了满足用户访问响应时间尽可能短的需求,本文提出基于节点服务能力的副本选择策略,考虑节点负载和数据传输时间选择服务能力最强的节点响应用户。该策略减少了作业的等待时间,可以提高用户访问效率。通过OptorSim模拟器进行仿真,将本文提出的副本管理策略与HDFS中默认的副本管理策略以及OptorSim中的几种副本管理策略进行比较,结果表明本文的动态副本管理策略作业平均完成时间降低了 10%左右,动态副本增加总数降低了 28%左右,有效网络使用率降低了 32%左右。