分布式存储系统中的失效节点修复研究

发布时间：2017-08-25 11:29

  本文关键词：分布式存储系统中的失效节点修复研究

  更多相关文章： 分布式存储 网络编码 再生码 局部性修复编码 节点修复

【摘要】：随着数据海量化时代的到来,分布式存储技术以其高扩展性和廉价性逐渐成为解决海量数据存储的重要手段。由于分布式存储系统规模庞大、磁盘故障以及其它网络固件发生异常而导致的节点失效问题已经成为一种普遍情况。为了确保数据的可用性,通常需要在节点存储一部分冗余数据,且为了保持分布式存储系统高可靠性,需要对失效存储节点及时修复。分布式存储系统通常采用纠删码来提高系统的可靠性,与复制策略相比,纠删码可以使分布式存储系统的存储开销达到最优,但是在修复单个失效节点时必须以还原整个原文件为代价。再生码在保证系统具有较低存储开销的同时,可以更好地降低修复失效节点所带来的带宽开销,具有重要的应用前景。与此同时,如何降低修复失效节点所带来的磁盘读取开销,也具有十分重要的意义。为了进一步降低分布式存储系统修复单个失效节点所需的带宽开销和磁盘读取开销,本文主要研究以下内容:(1)研究了简单再生码,并在此基础上对简单再生码进行了改进,提出基于简单再生码的分段编码方案。通过将简单再生码中的f个具有相同下标的编码块分成两段,将每段中的编码块进行异或操作生成一个新的校验块。与简单再生码相比,分段编码方案在增加了少量存储开销的基础上,可以在很大程度上降低修复单个失效节点所带来的带宽开销和磁盘读取开销。(2)提出局部最小存储再生码。在基于最小存储再生码的逐步构造编码块算法的基础上,通过将分布式存储系统中的节点进行分组,然后将子文件分别在各分组中构造一个规模较小的最小存储再生码,对失效节点则在修复组内利用逐步构造编码块算法进行局部修复,进一步给出了局部最小存储再生码在不同情况下的分组方案。与基于最小存储再生码的逐步构造编码块算法相比,相同规模的局部最小存储再生码同样可以达到存储开销下限,并且可以有效降低修复单个失效节点所需的带宽开销和磁盘读取开销。
【关键词】：分布式存储 网络编码 再生码 局部性修复编码 节点修复
【学位授予单位】：长安大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-9
• 第一章 绪论9-19
• 1.1 研究背景9-11
• 1.1.1 海量数据9-10
• 1.1.2 分布式存储10-11
• 1.2 分布式存储系统中的容错问题及研究现状11-17
• 1.2.1 分布式存储系统的容错问题11-12
• 1.2.2 分布式存储系统常见的容错策略12-14
• 1.2.3 分布式存储系统容错问题研究现状14-17
• 1.3 本文的研究内容及章节安排17-19
• 1.3.1 研究内容17-18
• 1.3.2 章节安排18-19
• 第二章 再生码和局部性修复编码概述19-33
• 2.1 分布式存储系统概述19-22
• 2.1.1 数据重构19-20
• 2.1.2 失效节点修复过程20-21
• 2.1.3 不同的修复方式21-22
• 2.2 再生码概述22-29
• 2.2.1 网络编码22-24
• 2.2.2 再生码24-27
• 2.2.3 基于最小存储再生码的逐步构造编码块算法27-29
• 2.3 局部性修复编码29-32
• 2.4 本章小结32-33
• 第三章 基于简单再生码的分段编码方案33-47
• 3.1 简单再生码33-35
• 3.2 基于简单再生码的分段编码方案35-41
• 3.2.1 方案描述35-37
• 3.2.2 单节点修复过程37-41
• 3.2.3 分段编码方案中f的取值41
• 3.3 性能分析41-45
• 3.3.1 带宽开销41-44
• 3.3.2 磁盘读取开销44
• 3.3.3 存储开销44-45
• 3.4 本章小结45-47
• 第四章 局部最小存储再生码47-64
• 4.1 局部最小存储再生码47-55
• 4.1.1 方案描述47-52
• 4.1.2 n取值范围讨论52
• 4.1.3 单失效节点修复52-55
• 4.2 性能分析55-62
• 4.2.1 存储开销55-57
• 4.2.2 带宽开销57-61
• 4.2.3 磁盘读取开销61-62
• 4.3 本章小结62-64
• 总结与展望64-66
• 参考文献66-71
• 攻读硕士学位期间取得的研究成果71-72
• 致谢72

【相似文献】

中国期刊全文数据库 前10条

1 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

2 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

3 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

4 吴英;谢广军;刘t，

本文编号：736672