分布式存储系统中节点修复算法研究

发布时间：2020-05-11 07:55

【摘要】：近年来,随着信息技术的飞速发展,数据海量化逐渐成为一种趋势。如何有效可靠地存储这些海量数据成为一个亟待解决的问题。针对传统集中式存储在可靠性、可扩展性等方面的局限性,分布式存储系统以其低成本和高可扩展性等特点,逐渐赢得广泛关注。为保证系统的可靠性,分布式存储系统常采用冗余存储的方式,以牺牲一定的存储开销为代价来换取系统可靠性。复制与纠删码是分布式存储系统中2种传统的冗余存储策略。为解决复制策略在存储开销方面以及纠删码策略在修复带宽开销方面的不足,网络编码技术被引入到分布式存储系统中,称为再生码,用于均衡系统存储开销与修复带宽开销。本文重点针对基于再生码的节点修复方法进行了研究,主要工作如下:(1)基于MSR码的分布式存储系统单节点修复算法由于人为操作失误或机器故障等原因,常常导致分布式存储系统中某些节点不可用,无法获取节点上存储的数据,这样的节点称为失效节点。为维持系统的可靠性,设计一个良好的节点修复机制对失效节点进行修复,对于分布式存储系统非常重要。本文提出了一种新的基于MSR码的分布式存储系统节点修复算法,该算法可以对单节点进行确定性修复。该算法首先对系统中的节点进行分组,对原始文件进行分组存储,每个节点都有其对应的唯一分组,且各个分组相互独立。其次,每个分组内,采用异或算法对原始文件数据块进行编码存储,不涉及有限域乘法等高级运算。最后,解码时,各分组可同时独立进行,同时,新生节点对失效节点上数据进行修复时,只与该分组有关,通过连接该分组其他存活节点并下载少量数据进行异或运算即可完成精确修复,减小磁盘I/O开销与修复复杂度。(2)基于MBR码的多节点协作修复算法除了单节点失效外,在分布式存储系统中,多节点同时失效的情况也时有发生,并且,在有些分布式存储系统中,采用的是延迟修复,即失效节点数目达到一定数目时,才启动修复过程,因此,对分布式存储系统的多节点修复算法进行研究也是很有必要的。相比于将多节点修复分解为单个节点依次修复,多个节点协作修复能减小修复带宽开销。本文对基于MBR码的多节点协作修复方法进行了研究,给出了一种新的基于MBR码的多节点协作修复方法。理论分析表明,本文所提方法达到了其修复带宽的理论最小值。
【图文】：

带宽,存储开销,下界

第二章分布式存储系统概述17图2.7 存储-带宽开销权衡曲线上图，横轴表示修复单个节点的带宽开销，纵轴表示每个存储节点的存储开销。由图，当节点存储开销不断增加时，修复带宽开销会不断减小，达到某一点时，不再减小，该点对应该再生码系统的修复带宽下界；同理，当修复带宽不断增加时，，节点存储开销不断减小，到达某一点时，存储开销不在减小，该点对应该再生码系统的存储开销下界。这两个下界点，分别对应最小修复带宽再生(Minimum BandwidthRegeneration, MBR )码和最小存储再生(Minimum Storage Regeneration, MSR)码。由前面存储开销阈值函数，可得到 MSR 点的存储开销为和修复带宽开销分别为： , ,( 1)MSR MSRM Mdk k d k (2-12)同理，MBR 点的存储开销与修复带宽开销分别为： 2 22 2, ,2 2MBR MBRMd Mdkd k k kd k k (2-13)图 2.7 对再生码存储开销与修复带宽开销进行分析时
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【参考文献】