基于云存储的副本策略关键技术研究
发布时间：2021-11-18 02:22
云存储将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问,能够有效缓解当前大数据对存储资源需求扩张的问题。然而,随着信息系统对数据访问的要求急剧扩展以及应用环境的日益复杂,对系统的存储效率和可靠性提出了更高的要求。本文针对云存储下的数据副本关键技术进行了研究,分别提出了副本放置、冗余副本移除和多副本数据可靠性三种算法,用于均衡系统的负载、提高系统的存储利用率和保证数据的可靠性。本文的主要工作包括以下三个方面:第一,云存储环境下副本放置问题研究。针对高负载云存储环境下过载节点增长过快,可能导致的过载聚集效应问题,提出了一种用于判定副本创建时机和位置的分散自适应副本放置算法。该算法根据节点的过热相似度,利用弹性阈值获取副本创建的最佳时机,降低了节点过载概率;同时,它兼顾存储节点的过热相似度以及节点所处的位置,采用分散自适应的方式选择最佳副本放置节点,降低过载聚集效应产生的概率。大量实验表明,与同类方法相比,该算法下的节点平均负载降低了10%,数据平均访问延迟也可以降低15%～20%。第二,云存储环境下副本移除问题的研究。针对云存储环境下副本状态动态变...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：115 页
【学位级别】：博士
【部分图文】：
图１－?１云存储系统模型图??存储层：存储层由物理存储设备和管理这些设备的管理系统组成
?第一章绪论???１．３本文研究内容??本文围绕云存储应用环境所带来的数据访问效率、系统存储利用率以及数据可??靠性等问题展开研宄，提出了副本放置算法、副本移除算法以及多副本可靠性策略，??通过合理的副本放置与副本移除实现云存储环境下低存储消耗、高数据访问效率以??及保证数据可靠性的目标。本文的具体研宄内容如图１－２所示。??基于云存储的副本策略关键技术研宄??副本移除研宂?副本放置研宄??入—．．．．．．．ＺＩＺ：＾—?＾ＺＥＩＬ—Ｊ??在复杂的云存储应用环境下改善数据访的问效率、保证??应用环１?境变得?败目标＇?数据的可靠性、提髙系统的存储利脾?缓解当！ｉ云存储??日益复杂多样，?牛?…?…?在数据访问效率、??影响数据的访问?１?数据可靠性以及??数据可靠性研％?＃储利＝方面的??以及存储利用率???问题????超大规模、高可扩展性、高可靠性、虚拟化、按需服务和价格低廉等特点的服务????—???Ｚｖ：————?—：??访问层应用接口层基础管理层存储层—核心—？基础管理层??云存储系统??图１－２云存储环境下副本策略关键技术研宄内容??（１）云存储环境下副本放置问题的研宄??在云存储环境中，为降低数据访问延迟，均衡系统的负载，传统副本放置算法??通常采用”事后调整阈值”的方法创建和放置副本。然而，在高负载环境下，由于阈值??调整的滞后性，这些算法容易导致节点过载概率增加，严重的会形成过载聚集效应，??影响了数据的访问效率。本文提出了一种分散自适应动态副本放置算法来应对该问??题。该算法首先根据节点负载定义了过热相似度函数，并根据节
?放置副本?????｜?；?：?；?：?；?ｉ??＾?获取副本创建的最佳时机?？?＾?创建副本?？??放置副本?？；??节点状态隶属函数?过热相似度隶属函数??｜?？?！??：…——?—??…—?—?．?—?—??ｊｆ??因素、??：??—————??＾?副本访问量?节点预热状态???节点的过热相似度??－－??；?；?过热相似度相似范围??节点跟务能力?裹在与之???节点度??图２－１ＤＡＲＳ副本放置方法??问请求进行回应。为有效减低节点的过载概率，它根据预定义的过载阈值，利用过??热相似度函数衡量当前负载与过载阈值的关系，在节点即将过载时创建副本，减小??放置节点过载的概率。为了能够及时的将访问压力分散到其他节点，ＤＡＲＳ在放置??副本时，综合参考节点的过热相似度和放置副本被访问的概率，采用模糊聚类分析??法从创建节点的邻居中选择最佳副本放置节点放置副本，降低过载聚集效应产生的??概率；同时通过副本放置均衡系统的负载、降低数据的访问延迟。??２．３副本创建的时机??２．３．１节点负载和节点状态之间的关系??１、节点负载??在云存储环境下，导致节点负载产生变化的因素有很多；其中，数据请求和处??理请求是导致节点负载增加的重要原因。本文忽略节点处理请求所导致的负载，只??考虑数据请求；并假定数据请求是导致节点负载增加的主要原因；同时假定节点在??单位时间内接收到的请求量包含节点本地文件接收的访问量和经过该节点的转发的??请求量。??１７??
【参考文献】：
期刊论文
[1]Cloud-P2P云存储结构的模型建立与性能分析[J]. 金顺福,王晨飞,陈玲玲,霍占强. 通信学报. 2015(03)
[2]云数据安全存储技术[J]. 冯朝胜,秦志光,袁丁. 计算机学报. 2015(01)
[3]大数据存储中的容错关键技术综述[J]. 宫婧,王文君. 南京邮电大学学报(自然科学版). 2014(04)
[4]对等网络中一种优化的副本分布方法[J]. 孙新,李庆洲,赵璞,王克祥,潘凡. 计算机学报. 2014(06)
[5]基于网络编码的传染路由协议性能[J]. 韩旭,杨余旺,王磊. 计算机应用. 2012(03)
[6]云计算环境下的分布存储关键技术[J]. 王意洁,孙伟东,周松,裴晓强,李小勇. 软件学报. 2012(04)
[7]重复数据删除关键技术研究进展[J]. 付印金,肖侬,刘芳. 计算机研究与发展. 2012(01)
[8]云环境下多副本管理综述[J]. 刘田甜,李超,胡庆成,张桂刚. 计算机研究与发展. 2011(S3)
[9]云计算安全研究[J]. 冯登国,张敏,张妍,徐震. 软件学报. 2011(01)
[10]重复数据删除技术[J]. 敖莉,舒继武,李明强. 软件学报. 2010(05)
本文编号：3502014
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：115 页
【学位级别】：博士
【部分图文】：
图１－?１云存储系统模型图??存储层：存储层由物理存储设备和管理这些设备的管理系统组成
?第一章绪论???１．３本文研究内容??本文围绕云存储应用环境所带来的数据访问效率、系统存储利用率以及数据可??靠性等问题展开研宄，提出了副本放置算法、副本移除算法以及多副本可靠性策略，??通过合理的副本放置与副本移除实现云存储环境下低存储消耗、高数据访问效率以??及保证数据可靠性的目标。本文的具体研宄内容如图１－２所示。??基于云存储的副本策略关键技术研宄??副本移除研宂?副本放置研宄??入—．．．．．．．ＺＩＺ：＾—?＾ＺＥＩＬ—Ｊ??在复杂的云存储应用环境下改善数据访的问效率、保证??应用环１?境变得?败目标＇?数据的可靠性、提髙系统的存储利脾?缓解当！ｉ云存储??日益复杂多样，?牛?…?…?在数据访问效率、??影响数据的访问?１?数据可靠性以及??数据可靠性研％?＃储利＝方面的??以及存储利用率???问题????超大规模、高可扩展性、高可靠性、虚拟化、按需服务和价格低廉等特点的服务????—???Ｚｖ：————?—：??访问层应用接口层基础管理层存储层—核心—？基础管理层??云存储系统??图１－２云存储环境下副本策略关键技术研宄内容??（１）云存储环境下副本放置问题的研宄??在云存储环境中，为降低数据访问延迟，均衡系统的负载，传统副本放置算法??通常采用”事后调整阈值”的方法创建和放置副本。然而，在高负载环境下，由于阈值??调整的滞后性，这些算法容易导致节点过载概率增加，严重的会形成过载聚集效应，??影响了数据的访问效率。本文提出了一种分散自适应动态副本放置算法来应对该问??题。该算法首先根据节点负载定义了过热相似度函数，并根据节
?放置副本?????｜?；?：?；?：?；?ｉ??＾?获取副本创建的最佳时机?？?＾?创建副本?？??放置副本?？；??节点状态隶属函数?过热相似度隶属函数??｜?？?！??：…——?—??…—?—?．?—?—??ｊｆ??因素、??：??—————??＾?副本访问量?节点预热状态???节点的过热相似度??－－??；?；?过热相似度相似范围??节点跟务能力?裹在与之???节点度??图２－１ＤＡＲＳ副本放置方法??问请求进行回应。为有效减低节点的过载概率，它根据预定义的过载阈值，利用过??热相似度函数衡量当前负载与过载阈值的关系，在节点即将过载时创建副本，减小??放置节点过载的概率。为了能够及时的将访问压力分散到其他节点，ＤＡＲＳ在放置??副本时，综合参考节点的过热相似度和放置副本被访问的概率，采用模糊聚类分析??法从创建节点的邻居中选择最佳副本放置节点放置副本，降低过载聚集效应产生的??概率；同时通过副本放置均衡系统的负载、降低数据的访问延迟。??２．３副本创建的时机??２．３．１节点负载和节点状态之间的关系??１、节点负载??在云存储环境下，导致节点负载产生变化的因素有很多；其中，数据请求和处??理请求是导致节点负载增加的重要原因。本文忽略节点处理请求所导致的负载，只??考虑数据请求；并假定数据请求是导致节点负载增加的主要原因；同时假定节点在??单位时间内接收到的请求量包含节点本地文件接收的访问量和经过该节点的转发的??请求量。??１７??
【参考文献】：
期刊论文
[1]Cloud-P2P云存储结构的模型建立与性能分析[J]. 金顺福,王晨飞,陈玲玲,霍占强. 通信学报. 2015(03)
[2]云数据安全存储技术[J]. 冯朝胜,秦志光,袁丁. 计算机学报. 2015(01)
[3]大数据存储中的容错关键技术综述[J]. 宫婧,王文君. 南京邮电大学学报(自然科学版). 2014(04)
[4]对等网络中一种优化的副本分布方法[J]. 孙新,李庆洲,赵璞,王克祥,潘凡. 计算机学报. 2014(06)
[5]基于网络编码的传染路由协议性能[J]. 韩旭,杨余旺,王磊. 计算机应用. 2012(03)
[6]云计算环境下的分布存储关键技术[J]. 王意洁,孙伟东,周松,裴晓强,李小勇. 软件学报. 2012(04)
[7]重复数据删除关键技术研究进展[J]. 付印金,肖侬,刘芳. 计算机研究与发展. 2012(01)
[8]云环境下多副本管理综述[J]. 刘田甜,李超,胡庆成,张桂刚. 计算机研究与发展. 2011(S3)
[9]云计算安全研究[J]. 冯登国,张敏,张妍,徐震. 软件学报. 2011(01)
[10]重复数据删除技术[J]. 敖莉,舒继武,李明强. 软件学报. 2010(05)
本文编号：3502014
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3502014.html
