基于纠删码的云存储策略研究
发布时间：2021-08-28 06:38
随着云计算的快速发展与普及,云存储已然成为数据存储的主要方式。而数据量的爆发式增长,导致云存储系统中节点的规模及异构性也不断增大,因此节点中数据的可靠性及I/O性受到了强有力的挑战。为了防止因节点故障造成的数据丢失,系统会采用特定的恢复机制对数据进行保护。本文对存储集群中节点异构性及多节点并发修复等问题进行了研究,主要工作如下。（1）针对集群中节点的异构性造成的数据存储代价过高、可靠性较低、节点负载均衡能力不足等问题,以段排序交换算法（FSSA）为依托,对数据块的部署方案进行改进,提出了分段交叉部署方案。在该方案中,通过对数据块部署问题进行模型分析,建立起对应的数学模型;然后根据系统中节点的负载情况对其进行分段划分,并对数据块的部署节点进行初次的选择;最后根据数据块部署模型利用启发式算法的思想在各个分段中对数据块的部署节点进行选择、替换,直至选择出最优部署节点集合。通过仿真结果表明,采用该方案可以在满足数据块部署可靠性需求的同时,有效地降低数据的存储代价,优化系统的负载均衡能力。（2）针对云存储中多节点失效时系统修复时延较大以及可用性较低等问题,以多节点并发修复算法（MCRA）为依托,...
【文章来源】：河南理工大学河南省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
副本的复
同的机架上可以有效降低数据丢失的风险。节点A……节点Z机架A机架B…机架ZNameNode客户端副本1副本2副本3DataNode心跳协议发送请求节点信息数据块分发获取存储节点信息图2-11副本的复制与传输Fig.2-11ReplicationandTransmissionofthedatareplica2.4.存储节点可靠性在云存储系统中，数据节点大多采用廉价的底层硬件，因此节点故障时有发生。虽然对于单一的存储节点而言，其故障发生很难被预测，呈现出故障的随机性；但对于分布式存储系统而言，因其拥有大量的存储节点，可以通过对存储系统历史数据的统计与分析预估系统的故障时间与节点故障率。对于拥有较大规模的存储系统而言，其节点的故障率与时间的关系曲线呈现出两端高中间低的浴盆形，因此节点的故障率曲线又可以被称为浴盆曲线，如图2-12所示。时间故障率早期故障期磨损故障期偶然失效期图2-12节点故障曲线Fig.2-12Nodefailurecurve由图2-12可知，数据中心节点的故障率随时间的变化可以分为早期故障期、14
{…}321nnnN节点集合.pop出栈函数LN轻量级负载集合.empty()判空函数3.3.1.部署模型通过第二章节对现有部署方案的分析我们可以发现，随着数据中心设备的更新与规模的增长，在存储集群内部的节点异构性越来明显。传统的数据块部署模型在进行数据块部署时，没有充分考虑因节点异构性而带来了对于数据I/O性、安全性等方面的影响，可能造成将数据安全性能要求较高的数据部署在可靠性较差的节点上、将I/O性能要求较高的数据部署在读写性能较差的节点上。为了解决上述问题，本章提出了分段交叉部署方案（Segmentedcross-deploymentscheme，SCDS）。其部署模型如图3-2所示。机架A机架B…机架Z节点A……节点ZDataNode获取存储节点信息客户端NameNode节点状态包数据信息包（数据大孝可靠性需求等）存储方案包（数据将要存储的节点地址）数据分发图3-2数据块部署模型Fig.3-2Datablockdeploymentmodel3.3.2.部署方案首先，以节点的效用函数为基础，降序排序系统中的各个节点；然后将排序的前n个节点与Alt归并，其余节点归并入集合Alt；对Alt中节点的可靠性进行验证，若满足数据块部署时对安全性的需求，则表示部署节点选取成功；反之利用段排序交换算法将Alt与Alt中的节点进行有序的替换，直至选择出满足可靠性需求的数22
【参考文献】：
期刊论文
[1]云计算数据中心HDFS差异性存储节能优化算法[J]. 杨挺,王萌,张亚健,赵英杰,盆海波. 计算机学报. 2019(04)
[2]纠删码存储系统单磁盘错误重构优化方法综述[J]. 傅颖勋,文士林,马礼,舒继武. 计算机研究与发展. 2018(01)
[3]纠删码存储系统中数据修复方法综述[J]. 杨松霖,张广艳. 计算机科学与探索. 2017(10)
[4]面向纠删码存储集群的节点并发重构[J]. 黄建忠,曹强,黄思倜,谢长生. 计算机研究与发展. 2016(09)
[5]基于范德蒙码的HDFS优化存储策略研究[J]. 宋宝燕,王俊陆,王妍. 计算机学报. 2015(09)
[6]GRC:一种适用于多节点失效的高容错低修复成本纠删码[J]. 林轩,王意洁,裴晓强,许方亮,符永铨. 计算机研究与发展. 2014(S2)
[7]文献共享系统和数据共享系统的云计算平台建设[J]. 孙滔,王杉,邢军. 计算机技术与发展. 2014(09)
[8]关于“云计算”及其未来应用的展望[J]. 王群华. 科技创新与应用. 2014(23)
[9]一种成本相关的云提供商数据可靠性保证算法[J]. 钟睿明,刘川意,王春露,项菲. 软件学报. 2014(08)
[10]面向云存储的多副本文件完整性验证方案[J]. 付艳艳,张敏,陈开渠,冯登国. 计算机研究与发展. 2014(07)
博士论文
[1]容错存储系统中的MDS阵列码研究[D]. 黄志杰.华中科技大学 2016
[2]基于Hadoop的云GIS若干关键技术研究[D]. 范建永.解放军信息工程大学 2013
硕士论文
[1]面向数据密集型超级计算的基于纠删码的容错存储技术研究[D]. 周松.国防科学技术大学 2010
[2]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
[3]基于Hadoop的海量数据处理模型研究和应用[D]. 朱珠.北京邮电大学 2008
本文编号：3368009
【文章来源】：河南理工大学河南省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
副本的复
同的机架上可以有效降低数据丢失的风险。节点A……节点Z机架A机架B…机架ZNameNode客户端副本1副本2副本3DataNode心跳协议发送请求节点信息数据块分发获取存储节点信息图2-11副本的复制与传输Fig.2-11ReplicationandTransmissionofthedatareplica2.4.存储节点可靠性在云存储系统中，数据节点大多采用廉价的底层硬件，因此节点故障时有发生。虽然对于单一的存储节点而言，其故障发生很难被预测，呈现出故障的随机性；但对于分布式存储系统而言，因其拥有大量的存储节点，可以通过对存储系统历史数据的统计与分析预估系统的故障时间与节点故障率。对于拥有较大规模的存储系统而言，其节点的故障率与时间的关系曲线呈现出两端高中间低的浴盆形，因此节点的故障率曲线又可以被称为浴盆曲线，如图2-12所示。时间故障率早期故障期磨损故障期偶然失效期图2-12节点故障曲线Fig.2-12Nodefailurecurve由图2-12可知，数据中心节点的故障率随时间的变化可以分为早期故障期、14
{…}321nnnN节点集合.pop出栈函数LN轻量级负载集合.empty()判空函数3.3.1.部署模型通过第二章节对现有部署方案的分析我们可以发现，随着数据中心设备的更新与规模的增长，在存储集群内部的节点异构性越来明显。传统的数据块部署模型在进行数据块部署时，没有充分考虑因节点异构性而带来了对于数据I/O性、安全性等方面的影响，可能造成将数据安全性能要求较高的数据部署在可靠性较差的节点上、将I/O性能要求较高的数据部署在读写性能较差的节点上。为了解决上述问题，本章提出了分段交叉部署方案（Segmentedcross-deploymentscheme，SCDS）。其部署模型如图3-2所示。机架A机架B…机架Z节点A……节点ZDataNode获取存储节点信息客户端NameNode节点状态包数据信息包（数据大孝可靠性需求等）存储方案包（数据将要存储的节点地址）数据分发图3-2数据块部署模型Fig.3-2Datablockdeploymentmodel3.3.2.部署方案首先，以节点的效用函数为基础，降序排序系统中的各个节点；然后将排序的前n个节点与Alt归并，其余节点归并入集合Alt；对Alt中节点的可靠性进行验证，若满足数据块部署时对安全性的需求，则表示部署节点选取成功；反之利用段排序交换算法将Alt与Alt中的节点进行有序的替换，直至选择出满足可靠性需求的数22
【参考文献】：
期刊论文
[1]云计算数据中心HDFS差异性存储节能优化算法[J]. 杨挺,王萌,张亚健,赵英杰,盆海波. 计算机学报. 2019(04)
[2]纠删码存储系统单磁盘错误重构优化方法综述[J]. 傅颖勋,文士林,马礼,舒继武. 计算机研究与发展. 2018(01)
[3]纠删码存储系统中数据修复方法综述[J]. 杨松霖,张广艳. 计算机科学与探索. 2017(10)
[4]面向纠删码存储集群的节点并发重构[J]. 黄建忠,曹强,黄思倜,谢长生. 计算机研究与发展. 2016(09)
[5]基于范德蒙码的HDFS优化存储策略研究[J]. 宋宝燕,王俊陆,王妍. 计算机学报. 2015(09)
[6]GRC:一种适用于多节点失效的高容错低修复成本纠删码[J]. 林轩,王意洁,裴晓强,许方亮,符永铨. 计算机研究与发展. 2014(S2)
[7]文献共享系统和数据共享系统的云计算平台建设[J]. 孙滔,王杉,邢军. 计算机技术与发展. 2014(09)
[8]关于“云计算”及其未来应用的展望[J]. 王群华. 科技创新与应用. 2014(23)
[9]一种成本相关的云提供商数据可靠性保证算法[J]. 钟睿明,刘川意,王春露,项菲. 软件学报. 2014(08)
[10]面向云存储的多副本文件完整性验证方案[J]. 付艳艳,张敏,陈开渠,冯登国. 计算机研究与发展. 2014(07)
博士论文
[1]容错存储系统中的MDS阵列码研究[D]. 黄志杰.华中科技大学 2016
[2]基于Hadoop的云GIS若干关键技术研究[D]. 范建永.解放军信息工程大学 2013
硕士论文
[1]面向数据密集型超级计算的基于纠删码的容错存储技术研究[D]. 周松.国防科学技术大学 2010
[2]基于Hadoop的海量影像数据管理关键技术研究[D]. 霍树民.国防科学技术大学 2010
[3]基于Hadoop的海量数据处理模型研究和应用[D]. 朱珠.北京邮电大学 2008
本文编号：3368009
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3368009.html
