基于HDFS的云计算动态副本策略研究

发布时间：2017-10-13 20:05

  本文关键词：基于HDFS的云计算动态副本策略研究

  更多相关文章： 云计算 HDFS改进系统 动态副本策略 放置策略 负载均衡

【摘要】：随着信息技术的高速发展，密集型的计算和大规模的存储需求日益凸显。云计算因其超强的计算能力、低廉的价格、获取资源方便、可扩展性强在科技产品上得到了广泛的应用，也成为了学者研究的热点。云计算中的副本资源管理技术是影响系统性能的关键技术之一，也是保证云存储系统高可靠性的核心要素。然而，目前被大量应用的基于Hadoop的云计算在某些方面仍存在着不足： 首先，HDFS默认的副本策略是静态的，如果在短时间内，用户大量访问某些信息，这些对象就成为了“热点文件”，热点问题会降低用户访问的速度，影响系统读取性能；其次，副本资源调度缺乏标准性。副本动态调整的核心是根据需求增加或减少副本的数量，目前在副本个数的计算上没有一个明确的标准，大多采用“需要就增加”的方式。而在副本删除的策略上一般选择存在时间久的副本进行删除，，其缺乏理论依据；最后，目前存在的一些副本放置算法，大部分未考虑节点的异构性，对节点进行均一化处理，这样的处理方式是不准确的。另外，目前的一些放置算法，也存在时间复杂度太高，模型太过简单等问题。 根据上述不足，本文在前人的研究基础上做了以下工作： （1）针对默认HDFS静态副本策略在大量文件访问请求的情况下出现服务质量降低的缺点，本文在原生HDFS文件系统之上进行了改进，增加了中央控制器、平衡计时器、访问缓存以及历史记录栈，改进后的系统能够动态的调整副本数量。 （2）针对副本资源调度缺乏标准性的问题，本文在副本个数的计算上根据用户的访问情况来计算副本块被访问的频率，由该频率与平均频率的比值来确定应该维持的副本个数。对于副本删除策略，本文从计算服务器、机架、功能模块三个方面选择性能较差的节点删除副本。 （3）对于副本放置策略，本文选择了典型的数据中心三层网络结构，提出了基于四级维度网络感知(SRMD)的副本放置算法，在该算法中，分别从计算服务器、计算机架、功能模块、节点网络距离四个方面综合考虑服务器节点性能，确定最优的节点进行副本放置作业。利用云计算仿真软件CloudSim3.0来模拟一个复杂网络的集群环境,从多方面对实验结果进行分析，三种策略的对比表明本论文提出的动态副本策略是正确可行的。
【关键词】：云计算 HDFS改进系统 动态副本策略 放置策略 负载均衡
【学位授予单位】：浙江理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-10
• 第一章 绪论10-16
• 1.1 课题的研究背景10-11
• 1.2 研究现状及意义11-12
• 1.2.1 国外云存储研究现状11
• 1.2.2 国内云存储研究现状11-12
• 1.2.3 研究意义12
• 1.3 本文的主要工作12-14
• 1.4 本文章节安排14-16
• 第二章 分布式文件系统 HDFS 研究16-26
• 2.1 分布式文件系统简介16-17
• 2.1.1 分布式文件系统结构及特点16
• 2.1.2 分布式文件系统的关键技术16-17
• 2.2 常见分布式文件系统17-18
• 2.3 HDFS 架构概述18-23
• 2.3.1 HDFS 体系结构18-20
• 2.3.2 HDFS 存取机制20-22
• 2.3.3 HDFS 中文件的删除与恢复22-23
• 2.4 副本管理策略的基本理论23-24
• 2.5 现有 HDFS 架构不足24-25
• 2.6 本章小结25-26
• 第三章 副本放置策略研究26-47
• 3.1 副本放置策略原则26
• 3.2 HDFS 默认副本放置策略26-27
• 3.3 副本放置策略现状27-28
• 3.4 基于四级维度网络感知(SRMD)的副本放置算法28-38
• 3.4.1 SRMD 算法原理28-36
• 3.4.1.1 常见数据中心抽象结构28-30
• 3.4.1.2 SRMD 算法度量方法30
• 3.4.1.3 SRMD 算法详解30-36
• 3.4.2 SRMD 算法实现36-38
• 3.5 SRMD 算法实验结果与分析38-45
• 3.5.1 实验参数设置38-40
• 3.5.2 模拟实验结果分析40-45
• 3.6 本章小结45-47
• 第四章 云计算存储资源动态调度机制的研究47-57
• 4.1 副本动态管理实现目标47
• 4.2 HDFS 改进型系统模型47-49
• 4.3 基于频度算法的副本个数计算49-51
• 4.3.1 副本个数计算现状49-50
• 4.3.2 频度算法的副本个数计算实现50-51
• 4.4 基于 HDFS 改进型系统模型的动态调度机制51-56
• 4.4.1 副本的增加策略51-53
• 4.4.2 副本的删除策略53-56
• 4.4.2.1 副本删除策略的启动情况53-54
• 4.4.2.2 HDFS 默认副本删除策略54
• 4.4.2.3 副本删除算法研究现状54-55
• 4.4.2.4 副本删除策略的实现55-56
• 4.5 本章小结56-57
• 第五章 仿真实验与性能分析57-63
• 5.1 实验环境57-58
• 5.2 实验结果与分析58-63
• 第六章 总结与展望63-65
• 6.1 工作总结63-64
• 6.2 进一步研究方向64-65
• 参考文献65-69
• 致谢69-70
• 攻读学位期间的研究成果#@@

【参考文献】

中国期刊全文数据库 前7条

1 应朝晖，高洪奎，黄若衡;分布式文件系统[J];计算机工程与科学;1995年03期

2 孙大为;常桂然;高尚;靳立忠;王兴伟;;Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J];Journal of Computer Science & Technology;2012年02期

3 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期

4 董继光;陈卫卫;吴海佳;田浪军;;基于动态副本技术的云存储负载均衡研究[J];计算机应用研究;2012年09期

5 李晓恺;代翔;李文杰;崔U

本文编号：1026799