基于冗余机制的分布式存储系统性能优化研究

发布时间：2017-05-08 14:27

  本文关键词：基于冗余机制的分布式存储系统性能优化研究，，由笔耕文化传播整理发布。

【摘要】：随着互联网技术的高速发展,我们已经步入了大数据时代。在与日俱增的数据规模面前,传统的关系型数据库显得无能无力,而分布式计算和分布式存储技术受到广泛关注。分布式存储是分布式计算的存储部分,是易于扩展的、虚拟化的存储资源池。为了满足大规模存储应用的需求,提供可靠的海量数据存储服务,分布式存储系统使用冗余机制来保障数据的高可用性和可靠性。副本和编码是分布式存储系统目前主要的两种冗余机制。副本即对文件进行拷贝,而编码是通过对文件块进行线性或非线性处理生成编码块的冗余技术。由于数据规模异常庞大,采用副本冗余机制导致分布式存储系统需要付出巨大的存储空间开销。虽然编码冗余机制可以降低存储空间开销,但它需要额外的编解码时间对数据进行修复。面对这些高昂而又无法避免的额外开销,我们可以利用不同的冗余机制来优化分布式存储系统其他方面的性能,如通过副本降低分布式系统能耗和利用编码冗余机制减少文件修复时间。本文主要研究了分布式存储系统的副本和编码两种冗余机制。针对使用副本作为冗余机制的分布式文件系统HDFS,我们设计了一种节能策略来降低分布式存储系统的能耗。这部分的工作主要包含两部分：节能的文件备份策略(EFR)和节能的作业调度策略(EJS)。为了让EJS达到降低能耗的目的,EFR使用了一种简单又有效的方式去放置文件的文件块。针对使用编码作为冗余机制的网络异构环境下的分布式存储系统,我们提出了一种能够降低文件修复时间的弹性树形结构再生码算法FTR。为了验证FTR算法的可用性和有效性,我们开发了一个实际的基于再生码的分布式文件存储系统RCDFS,并对RCDFS的设计和实现细节进行了详细的描述。通过实验表明,Hadoop使用EJS和EFR结合的策略可以让系统节约50-60%的能量,另一方面,FTR算法能够有效的在RCDFS上运行及其在网络环境异构性明显的情况下,其数据修复时间低于STAR算法。
【关键词】：大数据 分布式存储系统 Hadoop 副本 再生码 节能 网络编码 修复时间
【学位授予单位】：复旦大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要2-3
• ABSTRACT3-8
• 第一章 引言8-10
• 1.1 分布式存储系统中冗余机制的必要性以及额外的开销8
• 1.2 本文研究工作概述8-9
• 1.3 本文的组织结构9-10
• 第二章 背景及其相关工作10-24
• 2.1 分布式存储系统10
• 2.2 副本和编码10-17
• 2.2.1 副本10-12
• 2.2.2 编码12-17
• 2.3 通过副本策略降低Hadoop集群的能耗17-20
• 2.4 异构网络环境下的再生码20-23
• 2.5 本章小结23-24
• 第三章 通过副本策略降低Hadoop集群能耗24-41
• 3.1 节能的备份策略24-29
• 3.1.1 HDFS备份策略24
• 3.1.2 节能的备份策略24-29
• 3.2 节能的调度策略29-34
• 3.2.1 节能调度策略的设计29-30
• 3.2.2 问题描述30-32
• 3.2.3 近似算法32-34
• 3.2.4 可靠性和可用性34
• 3.3 实验和性能评估34-40
• 3.3.1 实验环境35-36
• 3.3.2 节点文件比率36
• 3.3.3 数据本地化36-37
• 3.3.4 能量消耗37-39
• 3.3.5 作业执行时间39-40
• 3.4 本章小结40-41
• 第四章 通过再生码降低数据修复时间41-65
• 4.1 系统总设计41-44
• 4.2 存储框架44-47
• 4.2.1 存储模块45-46
• 4.2.2 存储控制模块46-47
• 4.3 计算框架47-50
• 4.3.1 计算控制模块48
• 4.3.2 计算模块48-49
• 4.3.3 监控模块49-50
• 4.4 客户端框架50-51
• 4.5 编解码框架51-57
• 4.5.1 算法设计51-54
• 4.5.2 伽罗华域54
• 4.5.3 编码模块54-56
• 4.5.4 解码模块56-57
• 4.6 性能测试57-64
• 4.6.1 实验环境和配置57-58
• 4.6.2 网络环境异构58-59
• 4.6.3 编码任务等待时间59-62
• 4.6.4 移植到HDFS62-64
• 4.7 本章小结64-65
• 第五章 总结与展望65-67
• 5.1 总结65-66
• 5.2 展望66-67
• 参考文献67-71
• 致谢71-72
• 攻读学位期间发表的学术论文目录72-73

【相似文献】

中国期刊全文数据库 前10条

1 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

2 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

3 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

4 吴英;谢广军;刘t

本文编号：351316