面向热数据的分布式纠删码存储系统研究与实现

发布时间：2021-02-01 04:32

　　随着互联网技术的快速发展,世界进入大数据时代,每天都有海量数据的产生,这使得分布式存储系统的存储开销越来越大。分布式存储系统内保证数据高可用的冗余机制使得这种情况更加恶化。目前分布式存储系统内的数据冗余机制主要有两种:一种是多副本,另一种是纠删码。相比于多副本直接将数据备份多份,纠删码利用特定编码规则生成少量冗余数据,极大地减少了存储开销。但是纠删码自身的复杂规则导致分布式存储系统的读、写、更新操作会消耗更多的CPU、网络I/O、硬盘I/O资源,从而导致相应操作的延迟较大。因此,纠删码目前主要用于冷数据或者温数据的存储来减少存储开销,需要频繁访问、更新的热数据仍然用多副本方式存储,来保证热数据的操作性能。针对纠删码存储系统在热数据存储场景下延迟较大问题,本文设计了一种基于日志结构的存储策略,LSEC（Log-Structured Erasure Coding）,从系统架构角度,结合多副本和纠删码各自的优点,在提高系统存储效率的同时,满足客户端对热数据存取的性能需求。本文的主要贡献如下:（1）针对在热数据存储场景下纠删码的写、更新操作高延迟问题,设计了LSEC存储策略,借助于日志结构存储... 

【文章来源】：华东师范大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：80 页

【学位级别】：硕士

【文章目录】：
内容摘要
ABSTRACT
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
    1.3 本文工作与贡献
    1.4 本文结构
第二章 背景知识与研究动机
    2.1 纠删码和多副本机制
    2.2 纠删码基本更新方法
    2.3 研究动机
    2.4 本章小结
第三章 LSEC存储策略
    3.1 LSEC写/更新策略
    3.2 LSEC读策略
    3.3 本章小结
第四章 垃圾回收
    4.1 Na?ve GC
    4.2 分区垃圾回收策略
        4.2.1 可行性分析
        4.2.2 分区选择策略
    4.3 本章小结
第五章 系统实现
    5.1 实现细节
    5.2 本章小结
第六章 实验与分析
    6.1 实验设置
    6.2 整体性能评测
    6.3 垃圾回收操作影响
    6.4 本章小结
第七章 总结和展望
    7.1 本文总结
    7.2 未来展望
参考文献
致谢
攻读硕士学位期间发表论文和科研情况



本文编号：3012181