分布式存储系统中故障节点快速修复研究
发布时间：2022-05-02 23:01
随着信息化时代的到来以及互联网技术的发展,全球数据呈爆炸性增长。分布式存储系统因其高可扩展性与廉价性的优点被广泛应用,并渐渐取代了传统的集中式存储。然而,分布式存储系统中的存储设备虽然价格低廉但不稳定性强,不可避免地会发生故障,需要频繁进行快速修复,这时就要求通过存储冗余数据来保证数据的可靠性与可用性。目前采用最多的冗余存储方式是复制和纠删码策略。复制策略需要存储原始文件副本,存储开销较大;纠删码在存储开销性能达到较优的同时修复故障节点的带宽开销却过大。因此,不同的环境要求下采用何种编码方式以及如何快速修复故障节点成为我们需要研究的重要问题。本文的主要研究内容如下:（1）为了提高分布式存储系统的可靠性和修复效率,论文构造了一类基于循环可变部分重复（Variable Fractional Repetition,VFR）码的最小带宽再生码,能够快速精确修复故障节点。具体地,考虑到用户访问数据的不均衡性,根据数据热度不同重复度不同的思想构造循环VFR码,并在此基础上为提高文件下载速度对循环VFR码进行分组设计,得到对应的最小带宽再生码。采用基于循环VFR码的最小带宽再生码,单节点故障的修复局...
【文章页数】：67 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景
1.1.1 大数据时代
1.1.2 分布式存储系统
1.2 分布式存储系统中的容错机制
1.2.1 数据存储的可靠性问题
1.2.2 典型的数据容错策略
1.3 本文的主要研究内容
1.4 本文的组织结构
第二章 分布式存储编码
2.1 网络编码概述
2.1.1 网络编码的发展历史及研究现状
2.1.2 网络编码模型
2.2 基于网络编码的分布式存储
2.2.1 再生码
2.2.2 局部性修复编码
2.3 部分重复码
2.3.1 可变部分重复码
2.3.2 局部部分重复码
2.4 本章小结
第三章 基于循环VFR码的最小带宽再生码
3.1 引言
3.2 基于循环VFR码的最小带宽再生码
3.2.1 循环VFR码的构造
3.2.2 基于循环VFR码的最小带宽再生码构造
3.2.3 故障节点修复
3.3 性能分析
3.3.1 带宽开销
3.3.2 修复局部性
3.3.3 修复复杂度
3.4 本章小结
第四章 基于旋转交织码的层次码
4.1 引言
4.2 层次码与循环RS码
4.2.1 层次码
4.2.2 循环RS码
4.3 基于旋转交织码的层次码
4.3.1 旋转交织码的构造
4.3.2 基于旋转交织码的层次码构造
4.3.3 故障节点修复
4.4 性能分析
4.4.1 带宽开销
4.4.2 修复局部性
4.4.3 修复复杂度和修复时间
4.5 本章小结
总结与展望
参考文献
攻读硕士期间取得的研究成果
致谢
【参考文献】：
期刊论文
[1]分布式存储系统中基于Pyramid码的局部性修复编码[J]. 王静,张崇,梁伟,刘向阳. 电子测量与仪器学报. 2017(09)
[2]基于简单再生码的分段编码方案[J]. 王静,罗威,欧阳明生,姜灿,王新梅. 计算机科学. 2016(08)
[3]Load Balancing-Based Routing Optimization Mechanism for Power Communication Networks[J]. Ningzhe Xing,Siya Xu,Sidong Zhang,Shaoyong Guo. 中国通信. 2016(08)
[4]网络编码P2P流媒体中的动态段粒度研究[J]. 李姗,袁远,彭宇行. 计算机科学与探索. 2016(09)
[5]Low-Complexity Secure Network Coding Against Wiretapping Using Intra/Inter-generation Coding[J]. LIU Guangjun,LIU Binyue,LIU Ximeng,LI Fang,GUO Wangmei. 中国通信. 2015(06)
[6]“新摩尔定律”:深入分析大数据的时代来临[J]. 刘鹏,吴兆峰,胡谷雨. 中国战略新兴产业. 2015(07)
[7]Load Balanced Coding Aware Multipath Routing for Wireless Mesh Networks[J]. SHAO Xing,WANG Ruchuan,HUANG Haiping,SUN Lijuan. Chinese Journal of Electronics. 2015(01)
硕士论文
[1]分布式数据库系统热点负载均衡研究[D]. 祝烨.华中科技大学 2015
本文编号：3650129
【文章页数】：67 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景
1.1.1 大数据时代
1.1.2 分布式存储系统
1.2 分布式存储系统中的容错机制
1.2.1 数据存储的可靠性问题
1.2.2 典型的数据容错策略
1.3 本文的主要研究内容
1.4 本文的组织结构
第二章 分布式存储编码
2.1 网络编码概述
2.1.1 网络编码的发展历史及研究现状
2.1.2 网络编码模型
2.2 基于网络编码的分布式存储
2.2.1 再生码
2.2.2 局部性修复编码
2.3 部分重复码
2.3.1 可变部分重复码
2.3.2 局部部分重复码
2.4 本章小结
第三章 基于循环VFR码的最小带宽再生码
3.1 引言
3.2 基于循环VFR码的最小带宽再生码
3.2.1 循环VFR码的构造
3.2.2 基于循环VFR码的最小带宽再生码构造
3.2.3 故障节点修复
3.3 性能分析
3.3.1 带宽开销
3.3.2 修复局部性
3.3.3 修复复杂度
3.4 本章小结
第四章 基于旋转交织码的层次码
4.1 引言
4.2 层次码与循环RS码
4.2.1 层次码
4.2.2 循环RS码
4.3 基于旋转交织码的层次码
4.3.1 旋转交织码的构造
4.3.2 基于旋转交织码的层次码构造
4.3.3 故障节点修复
4.4 性能分析
4.4.1 带宽开销
4.4.2 修复局部性
4.4.3 修复复杂度和修复时间
4.5 本章小结
总结与展望
参考文献
攻读硕士期间取得的研究成果
致谢
【参考文献】：
期刊论文
[1]分布式存储系统中基于Pyramid码的局部性修复编码[J]. 王静,张崇,梁伟,刘向阳. 电子测量与仪器学报. 2017(09)
[2]基于简单再生码的分段编码方案[J]. 王静,罗威,欧阳明生,姜灿,王新梅. 计算机科学. 2016(08)
[3]Load Balancing-Based Routing Optimization Mechanism for Power Communication Networks[J]. Ningzhe Xing,Siya Xu,Sidong Zhang,Shaoyong Guo. 中国通信. 2016(08)
[4]网络编码P2P流媒体中的动态段粒度研究[J]. 李姗,袁远,彭宇行. 计算机科学与探索. 2016(09)
[5]Low-Complexity Secure Network Coding Against Wiretapping Using Intra/Inter-generation Coding[J]. LIU Guangjun,LIU Binyue,LIU Ximeng,LI Fang,GUO Wangmei. 中国通信. 2015(06)
[6]“新摩尔定律”:深入分析大数据的时代来临[J]. 刘鹏,吴兆峰,胡谷雨. 中国战略新兴产业. 2015(07)
[7]Load Balanced Coding Aware Multipath Routing for Wireless Mesh Networks[J]. SHAO Xing,WANG Ruchuan,HUANG Haiping,SUN Lijuan. Chinese Journal of Electronics. 2015(01)
硕士论文
[1]分布式数据库系统热点负载均衡研究[D]. 祝烨.华中科技大学 2015
本文编号：3650129
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3650129.html
