分布式存储中基于拓扑感知的修复优化技术研究

发布时间：2017-10-01 08:22

  本文关键词：分布式存储中基于拓扑感知的修复优化技术研究

  更多相关文章： 网络拓扑 MDS编码 数据修复 斯坦纳树

【摘要】：在大规模的分布式存储系统中,节点失效经常发生。随着编码的引入,在降低存储开销的同时,通过数据再生来保证可靠性。当节点失效时,需要在新的节点上产生新的冗余数据以保证系统的可靠性,这个新的冗余数据存放节点被称为新来节点。数据再生的过程中,通常主要考虑两个方面：传输代价和修复时间。在数据再生的过程中,传输代价越小意味着在网络中产生的流量越少。而修复时间又直接影响着整个系统的可靠性和可用性。然而,这两个指标又高度依赖于网络拓扑结构,不幸的是,在现有的工作中,网络拓扑结构往往被忽略了。一种理想的网络互连模型假设任意两个节点之间直接互连,而且互连的链路是对称的,而理想拓扑模型和实际网络拓扑结构之间的差异又会导致严重的性能下降。虽然MDS编码已经被证明能够在降低存储开销的同时,提高系统的可靠性。但是现有的MDS编码都是基于理想的拓扑模型,新来节点直接从剩余的存储节点中获取数据而不考虑传输距离以及传输链路的异构性,所以修复时间往往被瓶颈链路所限制,传输代价则被理想的拓扑模型所掩盖。在本篇论文中,1)针对网络编码框架下的数据修复优化问题,提出了基于Stenier-Tree算法的启发式修复树构造算法,通过理论分析建立了修复带宽与网络流量的平衡关系。2)设计了基于启发式修复树构造算法的数据修复协议,并通过实验对协议性能进行了分析,为分布式存储系统中的数据修复提供了支持。试验结果表明,在不引入过多传输流量的约束下,修复带宽得到了大大的提高,这使得整个修复过程时间得到了缩短。
【关键词】：网络拓扑 MDS编码 数据修复 斯坦纳树
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-12
• 第一章 绪论12-18
• 1.1 背景介绍12-13
• 1.2 分布式存储中基于编码的数据修复13-16
• 1.2.1 节点修复模型13-15
• 1.2.2 节点修复开销15-16
• 1.2.3 网络拓扑16
• 1.3 本文组织结构16-18
• 第二章 相关工作18-26
• 2.1 分布式存储中的编码特性18-20
• 2.2 数据修复中的流量优化20-23
• 2.2.1 问题分析20-21
• 2.2.2 Aggregation Codes21-23
• 2.3 节点修复中的带宽利用最大化23-25
• 2.3.1 基于拓扑的树形修复23-24
• 2.3.2 再生码(regeneration codes)与树形修复24-25
• 2.4 小结25-26
• 第三章 基于拓扑感知的树形修复26-41
• 3.1 背景与现状26-28
• 3.2 系统模型28-30
• 3.2.1 拓扑模型28-29
• 3.2.2 编码与解码29-30
• 3.3 基于网络拓扑的树形修复30-35
• 3.3.1 问题分析30-32
• 3.3.2 基于Stenier-Tree的启发式算法32-35
• 3.4 理论分析35-37
• 3.4.1 瓶颈带宽35-36
• 3.4.2 修复流量36-37
• 3.5 试验和性能评估37-40
• 3.5.1 瓶颈带宽37-38
• 3.5.2 网络流量38
• 3.5.3 趋近比38-40
• 3.6 小结40-41
• 第四章 树形修复系统的设计与实现41-62
• 4.1 系统结构41-42
• 4.2 系统交互流程42-43
• 4.3 STNRP(Stenier Tree based Node Recovery Protocol)协议43-46
• 4.3.1 功能概述43
• 4.3.2 协议设计43-44
• 4.3.3 数据结构44-46
• 4.4 CDTP(Coded Data Transfer Protocol)协议46-49
• 4.4.1 功能概述46
• 4.4.2 协议设计46-48
• 4.4.3 数据结构48-49
• 4.5 软件模块的定义49-57
• 4.5.1 网络监测49-50
• 4.5.2 编码模块50-53
• 4.5.3 树形修复模块53-57
• 4.6 实验评估57-61
• 4.6.1 再生树的构建时间57-58
• 4.6.2 修复时间58-60
• 4.6.3 修复流量60-61
• 4.7 小结61-62
• 第五章 总结与展望62-64
• 5.1 总结62-63
• 5.2 展望63-64
• 参考文献64-67
• 简历与科研成果67-68
• 致谢68-69

【相似文献】

中国期刊全文数据库 前10条

1 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

2 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

3 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

4 吴英;谢广军;刘t，

本文编号：952404