基于HDFS的云存储动态副本管理策略研究

发布时间：2020-10-14 06:31

　　 随着科学技术的快速发展,云计算、社会网络、物联网等新兴技术为人们的工作以及日常生活带来了巨大的方便,与此同时数据的数量和类型也呈现爆炸式的增长。随着大数据时代的到来,云存储系统凭借其强大的数据管理与存储能力越来越受到用户的重视。为提高云存储系统的可靠性、可扩展性以及安全性等,副本技术被广泛采用。HDFS(Hadoop Distributed File System)作为Hadoop的分布式文件系统具有强大的数据存储与管理能力。HDFS的副本管理机制可以提高云存储数据的可用性,同时也提高了云存储系统的可靠性、读取效率以及负载均衡等。但是,HDFS采用的静态副本管理机制也存在一些缺陷:(1)在可靠性要求高的云存储系统中,存储大量副本提高了系统数据存储与维护成本。(2)由于云存储系统由大量廉价的节点组成,节点失效是常态,HDFS副本管理机制随机选择副本存放位置,未考虑数据节点的负载情况以及数据访问量动态变化,因此影响云存储系统的负载均衡。为了解决这些问题,本文提出了一种动态副本管理机制DRMS(Dynamic Replica Management Scheme)。本文的主要研究内容包括:(1)本文根据数据的可用性与副本数目之间的关系,动态计算与维护满足副本可用性要求下的最小副本数目,有效地节省云存储系统的存储空间。(2)为了提高系统的性能与平衡负载,本文采用动态副本放置机制,采用三种副本放置策略以适应不同的阶段与应用场景。在副本的创建阶段,采用面向用户的数据副本放置策略。在副本运行阶段,本文采用面向业务的副本放置策略,采用此策略可以满足大多数的请求者,从而保证系统与数据的高利用率。(3)副本调整策略可以节省系统的存储空间并且减少系统的维护成本。本文利用灰度预测模型,通过最近数据访问情况动态预测未来数据块的访问热度,并且动态的调整数据副本。如果数据块访问热度增加,动态的增加副本的数目;如果数据块访问量减少,则使用最近最少访问策略删除多余的副本,从而节省云存储系统的存储空间。
【学位单位】：郑州大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP333
【部分图文】：

4 实验设计及性能分析1iMjijjpr （4.3）数据节点 Si的平均服务时间可由（4.4）计算所得，其中j 表示访问数据块访问延迟时间。11iMi jijtM （4.4）因此，系统利用率可以用式（4.5）所得。i i i t（4.5）本实验设置数据块访问流行度为 10%,可用性为 0.8，节点平均失效率为 0.1，中每个数据块最初维持 3 个副本，λ=0.6。测试结果如图 4.4 所示。图中显示个数据节点的系统利用率与集群平均系统利用率的差异。4050HDFS DRM
【参考文献】

相关期刊论文 前3条

1 陶永才;张宁宁;石磊;卫琳;;异构环境下云计算数据副本动态管理研究[J];小型微型计算机系统;2013年07期

2 董继光;陈卫卫;田浪军;吴海佳;;大规模云存储系统副本布局研究[J];计算机应用;2012年03期

3 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

相关博士学位论文 前2条

1 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年

2 谭支鹏;对象存储系统副本管理研究[D];华中科技大学;2008年

相关硕士学位论文 前9条

1 王贝;云计算环境下任务调度优化算法的研究[D];中国科学技术大学;2017年

2 周小玉;HDFS分布式文件系统存储策略研究[D];电子科技大学;2015年

3 贡晓杰;云存储系统中副本放置策略研究[D];南京邮电大学;2015年

4 储雅;基于HDFS的气象云存储的副本管理策略研究[D];南京信息工程大学;2014年

5 梁兴辉;云存储环境下数据副本技术研究[D];南京邮电大学;2013年

6 童明;基于HDFS的分布式存储研究与应用[D];华中科技大学;2012年

7 张楠;S-Cloud云备份系统研究与开发[D];长安大学;2011年

8 蔡林;大规模分布式存储系统副本管理研究与实现[D];电子科技大学;2011年

9 黄晓云;基于HDFS的云存储服务系统研究[D];大连海事大学;2010年

本文编号：2840320