基于SSD的分布式存储系统纠删码方案设计和优化

发布时间：2020-08-01 20:11

【摘要】：随着云计算、大数据、移动互联网的快速发展,数据量正在急速增加,存储系统面临的挑战也愈发艰巨。基于机械硬盘的传统分布式存储系统,难以满足信息存储的需求。高性能固态盘的引入,有效缓解了这一现状。随着其单位存储价格的持续下降,全固态盘组成的存储系统成为可能。但是,经典的副本保护策略,会增加系统存储开销,减少固态盘使用寿命,从而影响系统整体的可靠性。针对分布式环境下副本策略冗余数据过多的问题,引入纠删码保护策略。基于文件大小设计了副本和纠删码混合容错方案,小文件采用副本模式存储,大文件则直接用纠删码模式存储,解决小文件随机写带来的磨损问题。部分加速磨损策略,实时统计集群中所有固态盘的使用情况,合理确定校验数据的位置。在前期维持所有固态盘的磨损均衡,剩余寿命为20%时,将校验分布在固定的一组节点中加速其磨损,从而降低多个节点同时出错的可能性,提高系统可靠性。基于条带的并行编码策略,利用多个节点的计算及远程数据处理能力,大大提高编码的速度。数据转码过程,定期扫描副本区的数据,将访问少的数据转换为纠删码模式存储。为此优化了小文件副本放置策略,以便将多个小文件的主副本组合成新的条带,并计算其校验,进一步减少对固态盘写入。使用iozone测试系统的大文件读写性能,filebench模拟各种负载对存储系统的访问,测试系统写入数据量的变化及对应的带宽。测试结果表明,在多种负载下,系统均能在前期维持节点的写均衡,在后期加速部分节点的磨损,符合部分加速磨损策略的预期。混合存储及部分加速磨损策略增加了计算开销,但并行编码策略的引入,仍为写性能带来11.1%~21.5%的提升。与副本模式相比,纠删码写性能提升了3.5%~29.5%,验证了在线编码的可行性。小文件副本放置策略也可以有效减少数据转码带来的写放大,使其增幅仅有5.6%~14.8%。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【参考文献】