论文部分内容阅读
云计算是并行计算、网格计算、虚拟化、分布式计算、网络存储、负载均衡等技术融合发展的产物。云计算技术的出现,将原本用户端的工作放在云端执行,云数据中心承担着复杂忙碌的工作。对于云数据存储,云数据中心涉及成千上万台服务器和网络设备,这些节点分布不均、节点的配置存在差异、资源访问热度不同,用户的需求多样、实时、复杂,造成云数据中心的数据存储不均衡。例如一些节点存储了大量数据而另一些节点负载较轻;一些节点存储的文件访问热度高,需要频繁地应对用户的访问请求,而另一些节点非常空闲等。数据存储的不均衡将影响系统的性能、降低系统的响应时间,更严重地会引起节点的宕机。对于云资源调度,云中的节点的异构性及用户需求的多样性、不确定性,导致某些节点负载重,非常忙碌,相反另一些节点负载轻,非常轻松,将影响整个系统的性能及资源利用率。因此必须解决云存储及云资源调度的负载均衡问题。基于上述对云计算负载均衡的必要性的分析,本文提出Hadoop的云存储负载均衡的优化策略、多因素优化的云存储负载均衡模型、基于动态副本的负载均衡策略、基于虚拟机迁移的资源调度负载均衡策略。本文的主要贡献如下:1.Hadoop的HDFS文件存储系统以数据块为单位存储数据,每个数据块用副本保证数据的冗余,数据块的不断存放、删除导致各节点数据存储不均衡。HDFS为了解决负载不均衡的问题,将存储空间负载重的节点的数据迁移到负载轻的节点。均衡过程首先在机架内进行,然后在机架间进行,经研究发现这种负载均衡策略会延误负载重的机架的均衡时机,本文以超负载机架的优先处理为核心思想提出两个方面的优化。第一个优化是优先处理负载超重的机架。超过负载阈值的为超负载机架,对这些机架设计优先处理策略。第二个优化是负载重的节点按未使用空间大小升序排序,负载轻的节点按未使用空间降序排列,均衡时分别从两个队列中顺次选取节点,将负载重的节点的负载迁移到负载轻的节点。2.在解决云数据存储负载均衡的问题时,很多算法均仅仅考虑存储空间一个因素,将剩余存储空间少的节点的数据迁移到剩余存储空间多的节点上。但实际上每个节点的配置存在差异性,配置高的节点的处理能力显然比配置低的节点的处理能力强;节点间的网络带宽存在差异性,网络带宽大的节点能够响应更多的用户需求;文件的访问热度不相同,存储空间利用率低的节点存储了较多的热点文件,也会造成该节点的负载重。本文提出了多因素优化的负载均衡模型,综合文件大小、文件访问热度、节点CPU处理能力、节点内存大小、带宽等多种因素,评价节点的负载,根据综合负载进行数据的迁移。3.云存储系统中,为了避免数据失效,通常用副本机制实现数据冗余,副本分布在不同的机架、不同的节点上。文件副本的访问频率将直接影响节点的性能,对于访问频率高的副本,增加它的数量能够减轻节点的负担,实现各节点的负载均衡;反之,对于访问频率低的副本,减少它的数量能够降低节点的存储空间使用率。本文提出了基于文件热度的副本管理策略解决负载均衡问题。该策略根据文件访问热度、节点的存储空间、网络带宽、副本维护一致性成本等因素确定副本的数量、副本的位置。当文件副本的访问频率低或者长时间不被访问时进行副本的删除,释放节点的存储空间。4.云计算中各个节点共同合作响应用户的需求,这些节点数量庞大、地理位置分散、异构性很强,同时用户的应用多样、复杂、实时。本文提出了基于虚拟机迁移的资源调度负载均衡策略应对这些问题。该策略包括采集模块、监测模块、预测模块、选择模块、迁移模块等。采集模块负责采集各节点的负载值,负载值主要包括CPU利用率、内存利用率及带宽利用率,采用中央节点定时读取及各节点主动发送相结合的方式采集节点负载值。监测模块负责判定高负载节点及低负载节点,设定高位阈值、自适应阈值及低位阈值作为判定条件。预测模块辅助监测模块决定是否启动迁移,使用一次指数平滑法作为预测算法预测未来数值,避免负载的瞬时峰值启动不必要的迁移。选择模块负责选择迁移源机及目标机,使用基于信息熵的选择策略,根据节点的实时状况客观确定各个分量的权值。