基于LRC的数据重构优化研究

发布时间：2023-10-02 04:45

　　随着大数据时代的到来,作为分布式存储系统的通用容错机制的纠删码也面临着新的挑战。纠删码的优点在于存储利用率非常高,但是恢复数据时需要大量的数据传输。目前对于纠删码的重构性能优化研究一般集中单节点数据修复优化上,而少有讨论多节点数据失效的情况。原因是研究者普遍认为,单节点故障的情况远多于多节点数据失效的情况,然而,随着存储中心规模不断增大,多节点同时失效的概率也在增加,多节点数据重构已然成为影响分布式存储系统整体性能的一大因素。为了提供更好的数据修复性能尤其是多节点数据修复性能,在LRC码的基础上提出了一种重叠分组修复码(RGRC),该编码提出了全分组和重叠编码的策略,可以降低数据修复成本。在同等的容错能力下,RGRC码比RS码的单节点修复成本降低了50%,多节点修复成本降低了25%;而与LRC码相比,RGRC码的单节点修复性能略优于LRC码,多节点的修复成本降低了25%。为了能对RGRC码进行实际的比较和应用,在Jerasure库中部署了(12,3,2,1)RGRC码,然后将其与容错能力同样是4的(12,3,2)LRC码和(12,4)RS码进行了测试。测试结果显示,在发生单节点失效时,...

【文章页数】：56 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 数据重构的研究现状
    1.3 存在的不足和课题意义
    1.4 本文的主要研究内容
    1.5 文章的结构
2 存储系统中的纠删码
    2.1 纠删码分类
    2.2 纠删码的相关概念和术语
    2.3 RS纠删码
    2.4 Ceph分布式存储系统
    2.5 本章小结
3 数据修复优化方案研究
    3.1 RDP和 LRC的数据修复
    3.2 RGRC码的构造
    3.3 RGRC码性能分析
    3.4 RGRC码与其他编码的性能对比
    3.5 本章小结
4 测试与结果分析
    4.1 实验环境
    4.2 实验对比指标与方法
    4.3 实验结果比较与分析
    4.4 本章小结
5 总结与展望
    5.1 工作总结
    5.2 未来展望
致谢
参考文献



本文编号：3850120