面向强一致性的分布式对象存储的I/O并行性优化

发布时间：2021-02-27 10:40

　　在提供数据强一致性保障的分布式对象存储系统中,其I/O并行性受到系统I/O调度算法（主副本优先调度）的限制。本文提出了一种简单高效的I/O调度策略,其基于多副本的主从模型,可在保障强一致性的同时充分挖掘I/O并行空间。其包括如下3个主要步骤:第一,I/O请求被发送至主副本节点进行负载合并;第二,这些请求被送至数据相关性检测器根据相关性分配优先级;第三,根据I/O优先级及负载分布,将I/O请求尽可能均衡地转发至各副本节点上并行处理。本文实现了一个分布式对象存储系统原型用于验证该策略的有效性。实验分别对本文策略的各个环节进行了评估,实验结果表明,较主副本优先调度策略,本文策略使得GET请求吞吐量最大提升41.8%,GET请求平均延迟最大降低42.5%,GET请求99.9^th延迟最大降低15.8倍,这使得系统性能达到最终一致性下基准调度策略C3的水平。 

【文章来源】：高技术通讯. 2020,30(02)北大核心

【文章页数】：11 页

【部分图文】：

负载合并效果

本文策略有助于提高分布式对象存储系统的资源利用率。如图6所示,在不同GET请求并发度下,利用本文多副本调度算法的分布式对象存储系统表现出良好的GET请求吞吐量。随着GET请求并发度的不断提高,4种算法均提高了整体GET吞吐量,但是,MAIN远未达到系统吞吐量上限,RANDOM在较高并发度下接近了系统吞吐量上限,C3和本文-负载合并在并发度达到64后达到了系统上限,而本文策略较本文-负载合并进一步提高了系统吞吐量,说明负载合并效果带来了明显的收益。在并发度为64时,本文策略所产生的GET请求吞吐率较MAIN提高了41.8%,较RANDOM提高了29.1%,较C3提高了6.4%。这说明,本文策略的负载均衡效果明显优于其他基准算法。本文策略有助于降低GET请求平均延迟。如图7所示,在不同GET请求并发度下,尤其是随着并发度的提高,利用本文策略下所得的GET平均处理延迟明显低于其他策略。并发度为64时,本文策略较其他策略优势最明显,其GET请求平均延迟较MAIN降低了42.5%,较RANDOM降低了29.7%,与C3基本持平。

本文策略有助于降低GET请求平均延迟。如图7所示,在不同GET请求并发度下,尤其是随着并发度的提高,利用本文策略下所得的GET平均处理延迟明显低于其他策略。并发度为64时,本文策略较其他策略优势最明显,其GET请求平均延迟较MAIN降低了42.5%,较RANDOM降低了29.7%,与C3基本持平。本文策略有助于降低GET请求延迟分布的波动状态。如图8所示,在不同GET请求并发度下,利用本文策略所得的GET请求99.9th延迟明显低于其他策略。当I/O并发度达到256时,本文策略效果的优势最为显著,其99.9百分位延迟较MAIN策略降低了10.3倍,较RANDOM策略降低了15.8倍,与C3基本持平。这说明,本文策略有助于提供可靠的、可预测的I/O服务。如图9所示,在不同GET请求并发度下,本文策略可以有效地保障延迟分布的平稳。


本文编号：3054111