云存储中基于纠删码的数据容错技术研究
发布时间：2021-10-05 15:28
构建于大量节点之上云存储方便易用、成本低廉且可弹性扩展,被广泛用来保存人们快速产生的海量数据。根据节点分布,云存储可分为单中心云存储、跨中心云存储和P2P云存储三类。前二者通过运营包含大量服务器的一个或多个数据中心来提供服务;P2P云存储则通过大量租用个人闲置的存储空间和网络带宽来提供服务。对于任何一类云存储,采用容错技术以保证数据不因节点失效而丢失都至关重要。基于纠删码的容错技术容错能力更强且存储效率更高,近年来广泛替代了传统基于副本的容错技术。然而,由于基于纠删码的容错技术更为复杂,其在云存储中面临着以下问题:（1）数据编码包括数据分块、数据运算和数据分发等操作,已有的编码方法或者消耗了过多的I/O资源或者具有低下的数据读写速度;（2）数据修复时每修复一个失效块都需要传输多个块并进行复杂的运算,已有的数据修复方法不能有效降低数据传输开销并提高数据修复效率。近年来,跨中心云存储和P2P云存储的兴起使这些问题变得更加突出。本文针对这些技术难题,综合考虑各类云存储的特点,对纠删码容错技术中的数据编码问题和数据修复问题展开深入研究,主要贡献如下:已有的数据编码方法或因需要进行容错技术转换而...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：133 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 云存储概述
1.1.1 应用背景
1.1.2 应用场景
1.1.3 组织形式
1.2 数据容错问题
1.2.1 应用背景
1.2.2 常见容错技术
1.3 纠删码容错技术
1.3.1 应用背景
1.3.2 常用概念
1.3.3 基本原理
1.3.4 主要挑战
1.4 本文工作
1.5 论文结构
第二章 相关工作
2.1 常见纠删码
2.1.1 分组码
2.1.2 再生码
2.1.3 小结
2.2 数据编码方法
2.2.1 异步编码方法
2.2.2 同步编码方法
2.2.3 总结
2.3 数据修复方法
2.3.1 星型修复方法
2.3.2 树型修复方法
2.3.3 数据选择修复方法
2.3.4 总结
2.4 本章小结
第三章 基于流水线的分布式渐进编码方法
3.1 引言
3.2 编码方法设计
3.2.1 基本思想
3.2.2 编码示例
3.2.3 一般编码过程
3.2.4 磁盘读写优化
3.2.5 网络传输优化
3.2.6 编码方法推广
3.2.7 节点失效处理
3.3 编码开销分析
3.3.1 网络传输
3.3.2 磁盘读写
3.4 实验评测与分析
3.4.1 实验设置
3.4.2 数据写入性能
3.4.3 数据读取性能
3.4.4 结果总结
3.5 本章小结
第四章 局部性感知的树型修复方法
4.1 引言
4.2 问题描述
4.2.1 树型修复方法推广
4.2.2 树形修复问题描述
4.3 修复方法设计
4.4 最优修复树的构建
4.4.1 局部性的测量
4.4.2 修复树的构建
4.4.3 修复树的优化
4.5 提供节点组合的选择
4.6 修复方法实现
4.6.1 数据修复流程
4.6.2 流水线式再生
4.6.3 框架的扩展性
4.7 网络开销分析
4.7.1 分析设置
4.7.2 修复树构建时间
4.7.3 核心带宽消耗
4.7.4 总体网络负载
4.8 实验评测与分析
4.8.1 实验设置
4.8.2 主动修复性能
4.8.3 降级读取性能
4.8.4 扇区修复性能
4.8.5 对正常应用的影响
4.9 本章小结
第五章 基于分片的分布式星型修复方法
5.1 引言
5.2 问题描述
5.2.1 常用基本概念
5.2.2 修复问题描述
5.3 修复方法设计
5.3.1 单块失效修复
5.3.2 多块失效修复
5.3.3 一般修复过程
5.4 磁盘读写优化
5.5 修复负载分析
5.5.1 单块失效修复
5.5.2 多块失效修复
5.6 实验测评与分析
5.6.1 实验设置
5.6.2 校验块个数m对修复的影响
5.6.3 数据块个数k对修复的影响
5.6.4 失效块个数e对修复的影响
5.6.5 带宽不对称性对修复的影响
5.6.6 结果总结
5.7 本章小结
第六章 工作总结与展望
6.1 工作总结
6.2 工作展望
致谢
参考文献
作者在学期间取得的学术成果
作者在学期间参加的科研项目
【参考文献】：
期刊论文
[1]分布式存储中的纠删码容错技术研究[J]. 王意洁,许方亮,裴晓强. 计算机学报. 2017(01)
[2]基于纠删码的分布式存储系统中针对多数据失效的树型并行修复技术(英文)[J]. 孙伟东,王意洁,裴晓强. 中国通信. 2013(04)
[3]存储系统中的纠删码研究综述[J]. 罗象宏,舒继武. 计算机研究与发展. 2012(01)
[4]EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[J]. 周松,王意洁. 计算机研究与发展. 2011(S1)
硕士论文
[1]分布式存储系统中纠删码的数据修复技术研究[D]. 许方亮.国防科学技术大学 2013
本文编号：3420030
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：133 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 云存储概述
1.1.1 应用背景
1.1.2 应用场景
1.1.3 组织形式
1.2 数据容错问题
1.2.1 应用背景
1.2.2 常见容错技术
1.3 纠删码容错技术
1.3.1 应用背景
1.3.2 常用概念
1.3.3 基本原理
1.3.4 主要挑战
1.4 本文工作
1.5 论文结构
第二章 相关工作
2.1 常见纠删码
2.1.1 分组码
2.1.2 再生码
2.1.3 小结
2.2 数据编码方法
2.2.1 异步编码方法
2.2.2 同步编码方法
2.2.3 总结
2.3 数据修复方法
2.3.1 星型修复方法
2.3.2 树型修复方法
2.3.3 数据选择修复方法
2.3.4 总结
2.4 本章小结
第三章 基于流水线的分布式渐进编码方法
3.1 引言
3.2 编码方法设计
3.2.1 基本思想
3.2.2 编码示例
3.2.3 一般编码过程
3.2.4 磁盘读写优化
3.2.5 网络传输优化
3.2.6 编码方法推广
3.2.7 节点失效处理
3.3 编码开销分析
3.3.1 网络传输
3.3.2 磁盘读写
3.4 实验评测与分析
3.4.1 实验设置
3.4.2 数据写入性能
3.4.3 数据读取性能
3.4.4 结果总结
3.5 本章小结
第四章 局部性感知的树型修复方法
4.1 引言
4.2 问题描述
4.2.1 树型修复方法推广
4.2.2 树形修复问题描述
4.3 修复方法设计
4.4 最优修复树的构建
4.4.1 局部性的测量
4.4.2 修复树的构建
4.4.3 修复树的优化
4.5 提供节点组合的选择
4.6 修复方法实现
4.6.1 数据修复流程
4.6.2 流水线式再生
4.6.3 框架的扩展性
4.7 网络开销分析
4.7.1 分析设置
4.7.2 修复树构建时间
4.7.3 核心带宽消耗
4.7.4 总体网络负载
4.8 实验评测与分析
4.8.1 实验设置
4.8.2 主动修复性能
4.8.3 降级读取性能
4.8.4 扇区修复性能
4.8.5 对正常应用的影响
4.9 本章小结
第五章 基于分片的分布式星型修复方法
5.1 引言
5.2 问题描述
5.2.1 常用基本概念
5.2.2 修复问题描述
5.3 修复方法设计
5.3.1 单块失效修复
5.3.2 多块失效修复
5.3.3 一般修复过程
5.4 磁盘读写优化
5.5 修复负载分析
5.5.1 单块失效修复
5.5.2 多块失效修复
5.6 实验测评与分析
5.6.1 实验设置
5.6.2 校验块个数m对修复的影响
5.6.3 数据块个数k对修复的影响
5.6.4 失效块个数e对修复的影响
5.6.5 带宽不对称性对修复的影响
5.6.6 结果总结
5.7 本章小结
第六章 工作总结与展望
6.1 工作总结
6.2 工作展望
致谢
参考文献
作者在学期间取得的学术成果
作者在学期间参加的科研项目
【参考文献】：
期刊论文
[1]分布式存储中的纠删码容错技术研究[J]. 王意洁,许方亮,裴晓强. 计算机学报. 2017(01)
[2]基于纠删码的分布式存储系统中针对多数据失效的树型并行修复技术(英文)[J]. 孙伟东,王意洁,裴晓强. 中国通信. 2013(04)
[3]存储系统中的纠删码研究综述[J]. 罗象宏,舒继武. 计算机研究与发展. 2012(01)
[4]EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[J]. 周松,王意洁. 计算机研究与发展. 2011(S1)
硕士论文
[1]分布式存储系统中纠删码的数据修复技术研究[D]. 许方亮.国防科学技术大学 2013
本文编号：3420030
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3420030.html
