基于分散节点的异构分布式存储系统容量和带宽平衡研究

发布时间：2024-05-16 20:43

　　在大数据时代,随着互联网应用技术的高速发展,信息被海量产生、传输、处理和存储,并成指数级增长的态势。为了满足海量数据的存储需求,分布式存储系统由于其成本低、扩展性强、访问速度高、可靠性高、支持更高的并发访问量等特点得到了广泛的研究与应用,其中,数据被分布式地存储在通过网络连接的多个服务器节点上。随着系统规模的增大和节点个数的增多,系统节点发生故障的情况大大增加。为了保证存储的数据不因为部分节点的失效而丢失,纠删码被广泛地应用于分布式存储系统中,如微软的Azure、谷歌的GFS和淘宝的TFS等。传统的纠删码(如Reed-Solomon码)能够在保证较高数据可靠性的情况下大大减少存储数据冗余,但在修复损坏节点时需要使用大量的网络带宽。为了平衡数据存储和修复带宽之间的折中关系,Dimakis等人使用信息流图对分布式存储系统建模,接着利用网络编码的方法定义了系统容量,分析刻画了节点存储与修复带宽的折中界,并根据折中界提出了最小存储再生(Minimum Storage Regenerating,MSR)码和最小带宽再生(Minimum Bandwidth Regenerating,MBR)码的构...

【文章页数】：146 页

【学位级别】：博士

【文章目录】：
摘要
abstract
主要符号对照表
主要缩略语对照表
第一章 绪论
    1.1 大数据与分布式存储
    1.2 分布式存储系统中纠删码研究现状
    1.3 异构分布式存储系统研究现状
    1.4 研究内容及本文架构
第二章 预备知识与模型分析
    2.1 集群散点分布式存储系统模型
    2.2 信息流图
    2.3 研究问题刻画
    2.4 信息流图最小割相关定义与分析
        2.4.1 拓扑排序
        2.4.2 S与 DC间的最小割
        2.4.3 修复序列与被选节点
        2.4.4 被选节点分布与集群序列
        2.4.5 信息流图S和 DC间最小割计算
    2.5 本章小结
第三章 集群分布式存储系统研究
    3.1 垂直序列算法
    3.2 水平选择算法
    3.3 集群分布式存储系统的节点存储与修复带宽折中界
    3.4 折中界数值分析与再生码构造实例
    3.5 本章小节
第四章 单散点集群分布式存储系统研究
    4.1 给定单被选散点位置的垂直序列算法与水平选择算法
    4.2 单散点集群分布式存储系统容量分析
    4.3 单散点集群分布式存储系统的节点存储与修复带宽折中界
    4.4 单散点集群分布式存储系统折中界对比与数值分析
    4.5 单散点集群分布式存储系统容量与βS取值分析
    4.6 单散点集群分布式存储系统再生码构造实例
    4.7 本章小结
第五章 多散点集群分布式存储系统研究
    5.1 多散点垂直序列算法与水平选择算法
    5.2 多散点集群分布式存储系统容量
    5.3 多散点集群分布式存储系统存储与修复带宽折中界分析
    5.4 多散点集群分布式存储系统再生码构造分析
    5.5 本章小结
全文总结
附录A 折中界绘制算法代码
参考文献
致谢
攻读学位期间发表的学术论文
攻读学位期间参与的项目



本文编号：3974883