论文部分内容阅读
高可用的多云存储系统是当前大数据存储领域的研究热点，具有广泛的应用前景。然而随着大数据应用模式的不断发展，对现有多云存储机制提出了新的挑战：一方面，不同的大数据应用对数据的读写操作差异较大，使得其I/O模式呈现显著的异构性。为保证应用的访问性能，多云存储系统需要根据不同应用的I/O模式制定灵活的数据放置方案；另一方面，随着上层应用数据的不断增多，数据放置不均问题难以避免，此时需要合理的负载均衡策略降低数据放置产生性能瓶颈的风险。因此，需要在多云存储系统中对不同应用的数据进行合理放置，并实现有效的负载均衡，这对大数据存储具有重要的理论意义和应用价值。
为此，本文研究了多云存储系统混合I/O模式下的数据放置和负载均衡策略。具体研究成果包括：
（1）针对混合I/O模式下多云存储数据放置问题，提出了一种混合I/O感知的数据放置策略。该策略分为基于决策树的混合I/O感知算法和混合I/O模式下自适应的数据放置策略两个阶段，前者利用决策树模型准确感知数据的I/O模式，后者能够针对性的设计合理的数据放置策略。实验结果表明，该策略可以根据数据特点准确划分数据 I/O模式，准确率达到96.57%，并与未作优化的方案相比降低了20%~50%的数据读写访问延时，优化了存储系统整体性能。
（2）针对混合I/O模式下多云存储负载均衡问题，提出了一种混合I/O下多云间负载均衡策略。该策略分别设计了周期性负载均衡策略与临时性负载均衡策略，前者可以很好的解决数据布局不均的问题，后者可以有效应对大量大数据应用突发性的I/O请求。实验结果表明，该策略有效消除了数据放置产生的性能瓶颈，并提升了近20%的数据访问效率。
（3）基于上述两个理论成果，本文设计并实现了一个多云存储数据放置优化系统。首先，搭建了一个包括阿里云、百度云、华为云等云存储服务商的多云环境；其次，将本文理论成果实现并部署在该系统中，为大数据应用提供切实有效的多云存储服务；最后，通过真实环境下的实验测试，验证了本文理论研究工作的有效性。
总之，本硕士论文面向多云存储系统中数据放置与负载均衡机制进行了深入的探索，并设计实现了一个多云存储数据放置优化系统。相关实验表明，本文所提机制有效提高了大数据访问性能，并能够实时处理大量突发性的I/O请求，可为现有多云存储系统的数据放置优化和负载均衡提供行之有效的解决方案，为大数据存储管理的发展做出有益贡献。
为此，本文研究了多云存储系统混合I/O模式下的数据放置和负载均衡策略。具体研究成果包括：
（1）针对混合I/O模式下多云存储数据放置问题，提出了一种混合I/O感知的数据放置策略。该策略分为基于决策树的混合I/O感知算法和混合I/O模式下自适应的数据放置策略两个阶段，前者利用决策树模型准确感知数据的I/O模式，后者能够针对性的设计合理的数据放置策略。实验结果表明，该策略可以根据数据特点准确划分数据 I/O模式，准确率达到96.57%，并与未作优化的方案相比降低了20%~50%的数据读写访问延时，优化了存储系统整体性能。
（2）针对混合I/O模式下多云存储负载均衡问题，提出了一种混合I/O下多云间负载均衡策略。该策略分别设计了周期性负载均衡策略与临时性负载均衡策略，前者可以很好的解决数据布局不均的问题，后者可以有效应对大量大数据应用突发性的I/O请求。实验结果表明，该策略有效消除了数据放置产生的性能瓶颈，并提升了近20%的数据访问效率。
（3）基于上述两个理论成果，本文设计并实现了一个多云存储数据放置优化系统。首先，搭建了一个包括阿里云、百度云、华为云等云存储服务商的多云环境；其次，将本文理论成果实现并部署在该系统中，为大数据应用提供切实有效的多云存储服务；最后，通过真实环境下的实验测试，验证了本文理论研究工作的有效性。
总之，本硕士论文面向多云存储系统中数据放置与负载均衡机制进行了深入的探索，并设计实现了一个多云存储数据放置优化系统。相关实验表明，本文所提机制有效提高了大数据访问性能，并能够实时处理大量突发性的I/O请求，可为现有多云存储系统的数据放置优化和负载均衡提供行之有效的解决方案，为大数据存储管理的发展做出有益贡献。