分布式存储系统中部分重复码构造研究

发布时间：2020-12-16 22:33

　　随着互联网技术的快速发展,信息数据呈爆炸性增长,大规模分布式存储系统以其高吞吐量、高可用性、高可扩展性等突出优势成为海量数据的有效存储手段。分布式存储系统中节点故障不可避免,通常采用复制和纠删码策略来提高数据存储的可靠性和有效性。然而,复制策略存储代价过高,纠删码修复带宽开销过大。Dimakis等人提出了再生码,保证系统具有较低存储开销的同时修复带宽开销较低。局部性修复编码保证故障节点修复具有较低的磁盘I/O开销。但再生码和局部性修复编码在节点故障修复过程中计算复杂度较高,修复时间较长。部分重复(Fractional Repetition,FR)码因对故障节点提供精确无编码修复而得到广泛研究,其修复带宽开销和修复局部性较低,并能有效降低修复故障节点的计算复杂度。如何降低分布式存储系统中故障节点修复过程的带宽开销和修复局部性,降低修复过程中计算复杂度和修复时间,是目前亟需解决的主要问题。考虑到多节点故障的快速修复,本文针对FR码的构造进行研究,主要研究内容如下:(1)提出一种基于FR码的局部性修复编码方案。具体地,采用重复度?(28)2的FR码构造算法构造FR码编码结构,基于该编码结构划... 

【文章来源】：长安大学陕西省 211工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景
        1.1.1 海量数据存储
        1.1.2 分布式存储系统
    1.2 分布式存储系统中容错技术研究现状
        1.2.1 复制策略
        1.2.2 纠删码
        1.2.3 基于网络编码的故障修复研究
    1.3 论文研究内容及章节安排
第二章 分布式存储概述
    2.1 分布式存储系统的故障修复研究
        2.1.1 故障节点修复过程
        2.1.2 故障节点修复方式
        2.1.3 数据重构
    2.2 基于网络编码的分布式存储研究
        2.2.1 网络编码概述
        2.2.2 再生码
        2.2.3 部分重复码
    2.3 本章小结
第三章 基于部分重复码的局部性修复编码
    3.1 引言
    3.2 局部性修复编码
    3.3 基于部分重复码的局部性修复编码
        3.3.1 重复度ρ=2 的部分重复码构造算法
        3.3.2 基于部分重复码的局部性修复编码方案
        3.3.3 故障节点修复方法
    3.4 性能分析
        3.4.1 存储开销
        3.4.2 修复局部性
        3.4.3 修复带宽开销
    3.5 本章小结
第四章 基于超图染色的自适应可分解部分重复码
    4.1 引言
    4.2 基础知识
        4.2.1 超图
        4.2.2 自适应可分解部分重复码
    4.3 基于超图染色的自适应可分解部分重复码
        4.3.1 超图染色的启发式构造算法
        4.3.2 基于超图染色的自适应可分解部分重复码构造方案
        4.3.3 故障节点修复方法
    4.4 自适应可分解部分重复码的扩展性构造
        4.4.1 文件规模变化时的扩展
        4.4.2 系统规模变化时的扩展
        4.4.3 异构存储系统中的推广
    4.5 性能分析
        4.5.1 修复局部性
        4.5.2 修复带宽开销
        4.5.3 修复复杂度和修复时间
    4.6 本章小结
总结与展望
参考文献
攻读硕士期间取得的研究成果
致谢



本文编号：2920894