面向Geo-distributed云存储服务中副本放置研究

发布时间：2020-06-01 10:49

【摘要】：随着互联网技术的发展,云计算应用越来越广泛,数据量呈现出爆炸式的增长,如何对海量数据进行有效的存储一直是研究的热点。尤其随着近几年大数据和云计算的快速发展,单一的数据中心不能满足当前的存储需求,一个解决方法是可以将数据中心部署在Geo-distributed环境下,多个数据中心部署在不同的地理位置。如何保证Geo-distributed系统的性能是非常重要的研究方向,对系统中的数据副本进行合理放置,是一种可以有效提高系统性能的方法。本文提出的Geo-distributed数据副本放置方法,主要工作包括以下方面的内容:(1)在传统副本放置方法的基础上,根据Geo-distributed环境的特点,提出了一种新的数据副本放置方法,不仅考虑集群中数据节点当前的存储负载情况,还将影响性能的因素:数据节点的网络带宽、磁盘负载、数据节点的距离考虑在内。(2)提出一种Geo-distributed环境下基于热度感知的数据副本放置方法,在统计数据访问热度计算,提出一种动态时间窗口的计算方法,根据数据访问改变率的大小,调整时间窗口大小。还考虑到在Geo-distributed环境下数据节点的差异性,根据历史信息将访问热度高的数据副本放置到物理性能高的数据节点中,这样可以保证系统的性能,提高用户访问效率。最后通过基于Hadoop平台设计实现了Geo-distributed云存储原型系统,在系统中设计相关的业务场景,验证结果表明,本文提出的数据副本放置方法是可行的。
【图文】：

DateNode DateNodeDateNodeepacet5ack4 455图 2.4 HDFS 写操作流程图读文件时与写文件相似，首先在 NameNode 节点上接受客户端的读客户端存储访问数据的 DateNode 节点。S 副本放置系统设计之初就考虑到目的是用来对大数据的处理，所以 HDFS 适合件根据系统中数据块的大小分成多个数据块，文件数据块的大小和系统中通过参数配置的。每个数据块大小原则上是基本相同，只能不够规定数据块的大小，但是也按照数据块的大小存储。Name名字空间，存储着文件目录等元数据信息。

图 4.9 T14 时刻数据副本分布图访问次数的减少，相应的数据副本访问热度也会降低，从 T8 时刻后访问次数们可以看到高物理性能数据节点 DN1，DN3 中的数据副本数量变少了，而数4、DN5 中的数据副本数量增加。但是集群系统中数据副本整体数量变少了HRP 算法实现了系统中各个数据节点的数据副本的动态调整。来分析对集群性能的提升，，我们分别统计了三组数据块在不同副本放置方法间。020406080DN1 DN2 DN3 DN4 DN5第一组第二组第三组
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【参考文献】

相关期刊论文 前2条

1 傅颖勋;罗圣美;舒继武;;安全云存储系统与关键技术综述[J];计算机研究与发展;2013年01期

2 刘琨;李爱菊;董龙江;;基于Hadoop的云存储的研究及实现[J];微计算机信息;2011年07期

相关硕士学位论文 前1条

1 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

本文编号：2691372