基于纠删码的云文件系统设计与优化

发布时间：2017-09-04 17:25

  本文关键词：基于纠删码的云文件系统设计与优化

  更多相关文章： 云文件系统 纠删码 负载均衡 数据放置 数据修复

【摘要】：随着云计算和大数据技术的快速兴起,云存储作为一种新型的存储模式应运而生,其在科学计算和商业计算等大规模数据存储领域发挥着重要的作用,并受到企业界和学术界的广泛关注。云文件系统是云存储系统的重要组成部分,为云存储系统提供底层的存储支撑,负责对数据进行有效、可靠的存储来保证数据的可用性,进一步保证存储系统的可靠性和稳定性。然而随着存储集群规模不断壮大,存储节点失效成为一种普遍现象,纠删码冗余技术以其较强的容错能力和较高的空间利用率逐步被应用在云文件系统中保证数据的可靠性。在基于纠删码的云文件系统中,如何结合纠删码的特点对大规模数据进行高效、均衡、容错的存储成为了企业和研究者所关注的重点问题。针对上述情况,本文对基于纠删码的云文件系统的负载均衡、数据放置和数据恢复三个方面进行深入研究,本文取得的主要研究成果如下:1)提出了存储节点负载能力的评价方法。该方法分析并确定影响存储节点负载能力的主要因素,采用层次分析法建模求解每个因素对节点负载影响的权重大小,提出节点负载能力计算公式以及负载分类方法。2)提出了一种面向负载均衡的数据放置算法BDPA。该算法在节点负载能力评价方法的基础上,根据异构环境中节点的实时负载能力进行数据分配。该算法不仅实现了存储节点内的负载均衡,在最大限度保证数据可靠性的同时加快了数据写入速度。3)提出了一种基于拓扑感知的数据修复算法。该算法针对纠删码技术数据修复的特点,在修复数据过程中区分原始数据对象和编码数据对象,根据网络拓扑结构选择距离访问结点或修复客户端最近的有效数据块,减少数据修复过程中的网络传输开销,提高数据修复速度。4)设计并实现了基于纠删码的云文件系统EC-HDFS。实验通过与Facebook公司的纠删码云文件系统HDFS-RAID进行对比测试分析,验证了本文所提出的面向负载均衡的数据放置算法BDPA和基于拓扑感知的修复算法,能够较好的实现节点内的负载均衡,提高数据写入速度约12%,加快数据修复速度约15%。
【关键词】：云文件系统 纠删码 负载均衡 数据放置 数据修复
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要9-10
• ABSTRACT10-12
• 第一章 绪论12-22
• 1.1 研究背景12-15
• 1.1.1 分布式存储技术的发展12-14
• 1.1.2 存储系统失效的原因14
• 1.1.3 存储系统的可靠性14-15
• 1.2 数据冗余技术15-19
• 1.2.1 冗余技术的发展15-16
• 1.2.2 冗余技术的现状16-18
• 1.2.3 副本冗余技术18
• 1.2.4 纠删码冗余技术18-19
• 1.3 本文工作19-20
• 1.4 论文组织结构20-22
• 第二章 相关研究22-30
• 2.1 纠删码技术的分类22-25
• 2.1.1 阵列纠删码22-23
• 2.1.2 RS类纠删码23-24
• 2.1.3 LDPC纠删码24
• 2.1.4 存储系统中的纠删码研究24-25
• 2.2 负载均衡的分类25-26
• 2.2.1 静态负载均衡算法25
• 2.2.2 动态负载均衡算法25-26
• 2.2.3 自适应负载均衡算法26
• 2.3 数据放置策略26-27
• 2.3.1 启发式放置算法26-27
• 2.3.2 随机放置算法27
• 2.3.3 爬山放置算法27
• 2.4 数据修复策略27-28
• 2.4.1 被动式修复28
• 2.4.2 主动式修复28
• 2.5 本章小结28-30
• 第三章 基于纠删码的数据放置与修复算法研究30-46
• 3.1 存储节点负载能力评价方法30-36
• 3.1.1 负载评价指标的选择30-31
• 3.1.2 负载指标获取方法31
• 3.1.3 概念定义31-32
• 3.1.4 存储节点负载能力的分类32
• 3.1.5 基于层次分析法的负载权重建模32-36
• 3.2 面向负载均衡的数据放置算法36-41
• 3.2.1 数据放置策略分析36-37
• 3.2.2 基于纠删码的数据放置算法描述37-38
• 3.2.3 基于纠删码的数据放置算法实现38-41
• 3.2.4 算法分析41
• 3.3 基于拓扑感知的数据修复算法41-45
• 3.3.1 数据修复策略分析42
• 3.3.2 数据修复算法思想42-44
• 3.3.3 数据修复算法分析44-45
• 3.4 本章小结45-46
• 第四章 基于纠删码的云文件系统设计与实现46-58
• 4.1 HDFS-RAID简介46-49
• 4.1.1 总体架构46-47
• 4.1.2 功能分析47-49
• 4.2 基于纠删码云文件系统的设计49-52
• 4.2.1 EC-HDFS总体结构50
• 4.2.2 负载监测模块50-51
• 4.2.3 数据放置模块51
• 4.2.4 数据修复模块51-52
• 4.3 基于纠删码云文件系统的实现52-57
• 4.3.1 EC-HDFS的实现流程52-53
• 4.3.2 重要数据结构53
• 4.3.3 负载监测模块53-54
• 4.3.4 数据放置模块54-55
• 4.3.5 数据修复模块55-57
• 4.4 本章小结57-58
• 第五章 实验测试及分析58-66
• 5.1 实验环境搭建58-61
• 5.1.1 硬件环境58-60
• 5.1.2 软件环境60-61
• 5.2 测试方案以及结果分析61-64
• 5.2.1 面向负载均衡的数据放置算法性能测试61-63
• 5.2.2 基于拓扑感知的数据修复算法性能测试63-64
• 5.3 本章小结64-66
• 第六章 结束语66-68
• 6.1 工作总结66-67
• 6.2 未来展望67-68
• 致谢68-70
• 参考文献70-74
• 作者在学期间取得的学术成果74

【参考文献】

中国期刊全文数据库 前2条

1 韩德志;陈磊;;存储网络高可用系统设计关键技术研究[J];计算机应用研究;2007年08期

2 樊治平,赵萱;多属性决策中权重确定的主客观赋权法[J];决策与决策支持系统;1997年04期

中国博士学位论文全文数据库 前2条

1 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

2 李旭;系统级数据保护技术研究[D];华中科技大学;2008年

，

本文编号：792844