论文部分内容阅读
随着大数据时代的到来和数据的爆炸性增长,以及用户对数据服务的可用性、可扩展性和容错性需求的不断提高,分布式存储技术,特别是广域分布式存储技术的价值和重要性日渐凸显。复制技术是实现广域分布式存储系统实现快速响应的关键,而数据一致性的实现性能是评估复制技术的重要指标。目前,最有效的解决数据一致性问题的方法是采用具有领导者节点结构的分布式一致性协议,如典型的Multi-Paxos协议。但是,随着越来越多的分布式存储系统转向全球范围内跨不同地理区域的多数据中心架构,广域分布式存储系统面临协议延迟高、吞吐量低等问题。在CAP定理的约束下,传统的分布式一致性协议在广域网环境下无法满足用户对一致性和可用性的要求。因此,如何在广域网环境下,有效提高分布式一致性协议的可用性,是一项极具挑战性的课题。针对上述问题,本文以提高系统吞吐量和延迟为目标,通过优化无领导者节点一致性协议,对广域网环境下分布式数据一致性协议的优化问题展开研究。主要研究内容和创新点归纳如下:首先,对典型的无领导者节点分布式一致性协议EPaxos协议中存在的命令冲突发生时协议退化问题进行了理论分析。通过引入分布式全局时钟,提出了一种基于时间戳排序的EPaxos改进协议,即T-EPaxos协议。该协议将EPaxos协议命令冲突发生时的协议退化过程,改为根据命令的时间戳进行定序,从而有效地减少了协议退化产生的消息传递数量,提高了系统的延迟和吞吐量性能表现。在此基础上,针对广域分布式存储系统的特点,提出了在数据中心内和跨数据中心间采用不同一致性协议的混合一致性方案H-Paxos。其中,在跨地域的多数据中心架构中的单数据中心内,使用具有领导者节点的S-Paxos协议,而在跨数据中心间,使用前文提出的T-EPaxos无领导者节点一致性协议。为了进一步提高诸如灾难预警、应急响应等实时性高的场景的响应速度,根据CAP定理,对分布式一致性强度与系统可用性进行了量化定义,并基于此提出了广域分布式系统分布式局部一致性框架。仿真结果表明,提出的分布式局部一致性框架的局部分组内部,具有较好的延迟和吞吐量性能,为广域分布式存储系统的研究提供了新的思路和突破口。