广域分布式存储系统一致性协议的研究与优化

发布时间：2020-04-06 20:58

【摘要】：随着大数据时代的到来和数据的爆炸性增长,以及用户对数据服务的可用性、可扩展性和容错性需求的不断提高,分布式存储技术,特别是广域分布式存储技术的价值和重要性日渐凸显。复制技术是实现广域分布式存储系统实现快速响应的关键,而数据一致性的实现性能是评估复制技术的重要指标。目前,最有效的解决数据一致性问题的方法是采用具有领导者节点结构的分布式一致性协议,如典型的Multi-Paxos协议。但是,随着越来越多的分布式存储系统转向全球范围内跨不同地理区域的多数据中心架构,广域分布式存储系统面临协议延迟高、吞吐量低等问题。在CAP定理的约束下,传统的分布式一致性协议在广域网环境下无法满足用户对一致性和可用性的要求。因此,如何在广域网环境下,有效提高分布式一致性协议的可用性,是一项极具挑战性的课题。针对上述问题,本文以提高系统吞吐量和延迟为目标,通过优化无领导者节点一致性协议,对广域网环境下分布式数据一致性协议的优化问题展开研究。主要研究内容和创新点归纳如下:首先,对典型的无领导者节点分布式一致性协议EPaxos协议中存在的命令冲突发生时协议退化问题进行了理论分析。通过引入分布式全局时钟,提出了一种基于时间戳排序的EPaxos改进协议,即T-EPaxos协议。该协议将EPaxos协议命令冲突发生时的协议退化过程,改为根据命令的时间戳进行定序,从而有效地减少了协议退化产生的消息传递数量,提高了系统的延迟和吞吐量性能表现。在此基础上,针对广域分布式存储系统的特点,提出了在数据中心内和跨数据中心间采用不同一致性协议的混合一致性方案H-Paxos。其中,在跨地域的多数据中心架构中的单数据中心内,使用具有领导者节点的S-Paxos协议,而在跨数据中心间,使用前文提出的T-EPaxos无领导者节点一致性协议。为了进一步提高诸如灾难预警、应急响应等实时性高的场景的响应速度,根据CAP定理,对分布式一致性强度与系统可用性进行了量化定义,并基于此提出了广域分布式系统分布式局部一致性框架。仿真结果表明,提出的分布式局部一致性框架的局部分组内部,具有较好的延迟和吞吐量性能,为广域分布式存储系统的研究提供了新的思路和突破口。
【图文】：

数据一致性,概念图,副本

即能够保证节点互通的情况下从各个节点请求到的数据必须是一致的。如图1-1 所示，当客户端对某一副本节点中的数据进行更新时，分布式存储系统内的所有数据节点将全部执行相同的更新，所有副本中的数据一致。如果分布式系统没能做好一致性保证，那么当用户访问不同副本中的相同数据时，获得的结果将不

流程图,课题研究,流程图

的一致性强度与可用性水平的权衡方案成为了当下迫在眉睫的需求。1.3 论文研究目标与主要研究内容经过对课题的研究现状进行调研，明确了课题的研究目标：广域网环境下，，消息传输延迟高，传统的一致性协议应用在跨地域多数据中心的存储系统中，存在可用性较差的问题，为此提出一种基于 Paxos 协议的改进协议，在保证广域存储系统强一致性同时，提高系统的延迟和吞吐量性能。为完成这一目标，课题研究的流程如图 1-2，拟开展的研究内容如下：（1）研究广域分布式存储系统的架构和特点，分别讨论适用于单数据中心内和跨数据中心间的分布式一致性协议的原理，对其中存在的问题进行分析与研究。（2）针对广域分布式存储系统数据中心间传输延迟高的问题，提出基于Paxos 协议的优化协议，以此改善广域网环境下系统延迟高、吞吐量低的问题。对提出的协议进行仿真建模，验证其有效性。（3）针对诸如灾难预警、金融行业某些特殊用户对时限要求高，且广域网环境下无法同时满足其强一致性和可用性要求的问题，提出分布式一致性局部复制框架。对框架进行建模仿真，验证其有效性。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333

【相似文献】