云存储环境下海洋数据多副本管理策略

发布时间：2019-08-10 07:42

【摘要】：云计算及云存储技术不断发展,海洋大数据时代已经来临。船用电子设备类型及数量极速增加,如何保障重要数据的安全存储成为海上数据中心研究的重点。数据中心多副本的管理策略多基于单中心部署,随着数据量的几何级增长,已经越来越不能满足容灾备份的需求。本文在分析现有的海洋数据副本管理方案的基础上,重点研究基于云存储架构的多中心多副本数据管理策略,提出一种双层结构的主从副本存储结构,最后给出系统仿真。
【图文】：

第11A期李萍:云存储环境下海洋数据多副本管理策略构，最后给出系统仿真。1云存储多中心多副本管理结构多中心多副本文件系统中，数据被切割成互相冗余的多个数据块保存至不同物理主机的DataNode中，客户端Client通过获取不同数据块的NameNode获取元数据，客户端与存储端非同一主机，通过TCP/IP进行读写。多中心的副本管理体系如图1所示。Client分布式存储节点5分布式存储节点4分布式存储节点3分布式存储节点2分布式存储节点1机架2机架1DataNodeDataNodeClient块操作元数据操作元数据文件（文件名，副本数）/home/foo/data,3NameNode读取复制写入图1多中心的副本管理体系图Fig.1Multicentercopymanagementsystem基于此架构的副本管理策略要关注以下4点:1)副本存储。将文件副本存储在分布式的存储节点，至少保存3份副本，存储节点之间可通过部署infiniband提高访问带宽。2)副本读写。客户端对文件进行操作时选择与本机最近的DataNode节点。3)副本负载均衡。中心节点对副本分布式存储节点按照读写操作进行负载均衡。若某文件访问次数小于临界值，可以删除某些存储空间较小的节点副本;若某节点文件访问次数过多，可将该副本进行复制。4)副本一致性。中心节点在空余周期采用流水线方式对文件副本进行校验。2云环境下多中心多副本管理策略2.1基于云存储的多中心选择流程对于云存储环境下的副本存储节点的选择是实现多中心多副本架构的首要任务。多副本节点的选择需要考虑网络访问速率、负载均衡、存储空间及可靠性等多方面的需求。本文采用AHP多中心选择策略，选择流程有如下几个步骤:1)对于某一文件Ｒi选择的一定数量的存储节点SelectedDC(Ｒi)不超过云存储的最大节点数MAX_

i)＜MAX_DC进入下一步。4)对于没有存储Ｒi文件副本的节点，计算节点负载Load_DCj，并与云存储平台的平均负载CMSSS_Load进行比较。5)若Load_DCj＜CMSSS_Load，则将此存储节点加入到存储选择节点集SelectableDCSet中，否则进入步骤6。6)判断云存储中的所有节点是否轮询完毕，没有则跳转至步骤4，全部检索完毕则进入下一步。7)计算所有进入备选节点的集合SelectableDCSet的权重系数WeightVec。8)对权重系数WeightVec排序，副本存储按照此排序的WeightVec选择对应的节点。9)流程结束。整个流程如图2所示。结束选择备选权重大的数据中心存储数据副本基于AHP云算法，，计算SelectableDCSet中各数据中心的WeightVecNY是否检索完各数据中心信息忽略数据中心DCjNY将数据中心DCj加入到SelectableDCSetLoad_DCj<CMSSS_Load依次检索各个备选数据中心DCj的值开始SelectableDC（Ri）<MAX_DCNY图2存储策略流程图Fig.2Storagestrategyflowchart2.2备选节点权重值确定1)参考因素对比矩阵云存储多节点架构中的备选节点的权重值确定·149·
【作者单位】： 江苏联合职业技术学院;
【基金】：2015年江苏省高等教育教改立项研究课题(2015JSJG399)
【分类号】：TP333


本文编号：2525076