云存储系统的数据副本放置算法研究

发布时间：2020-07-07 06:50

【摘要】：随着互联网的快速发展，各种类型的应用对于数据存储的要求在不断提高，互联网中的数据存储更是成指数形式的增长。云存储作为一种新兴的存储模式，能够为用户提供低成本、高可用性的数据在线存储服务，近年来得到了广泛的发展。对于云存储系统，需要首先保证数据的高可用性，因此一种普遍采用的方式是同时存储数据的副本，以此提高数据的冗余度。 数据副本的放置算法是云存储系统的一个重要组成部分。如何在既保证系统的高可用性的同时又使得数据访问的效率以及对读写性能不受到数据冗余度的过度影响，是值得研究的一个问题。目前，对于云存储系统中数据副本的放置算法问题的研究仍处于初级阶段，还有许多问题需要进一步的研究。合理的数据副本数量以及副本的放置策略不仅能够提供良好的数据可用性，同时能够提升用户访问远程数据的读写性能以及存储系统的负载均衡，提升云存储服务的服务质量。 针对上述问题，本文分别对数据副本的放置策略以及数据副本数量的控制问题展开研究，主要的工作如下： (1)在数据副本放置策略的研究上，提出了基于评价值的考虑数据读写以及负载均衡的副本放置策略，综合考虑各个因素对于系统的性能影响，提出数据副本放置的评价算法，通过仿真实验对副本放置的均衡程度以及网络距离消耗等评价因素在不同策略下的实验结果进行对比分析。 (2)提出了基于访问趋势的数据副本数决策算法，给出判断热点数据的特征函数，在对仿真实验工具进行简要介绍后，将算法应用于实验环境中，在平均作业执行时间以及网络带宽消耗率等方面与现有算法进行对比分析。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333
【图文】：

中E 为评价值，l为数据机架的负载系数，反比于该机架存放的数据离系数，反比于当前机架与目标机架的网络距离， [0,1]，为平衡统管理员调节设定，用于调节数据负载和网络距离参数在评价中所然文中综合考虑了放置数据网络距离消耗以及负载均衡对于数据副，并且对于不同 值时，数据副本放置的分布情况与 Hadoop 默认策了对比，能够从网络距离消耗和负载均衡上体现其相比默认策略的优中建模与结点评价值的计算等方面依然存在以下不足之处：、没有预先考虑副本放置对于数据读取时网络距离消耗的影响。虽然写入数据的网络距离因素已经得到了考虑，然而在读取数据时，与的客户端都有进行数据读取需求的可能性，这就要求在数据存储时据读取的可能性考虑在内，否则就有可能造成数据副本写入时的成，但在数据读取时却增加了网络距离，造成网络资源以及成本开销的

这样一来就可以在机架 3 中的数据结点进行直接读取，网可忽略不计，那么即使剩下 20%的请求都从没有此数据块副本的机架其消耗的网络距离仅为 2*20%，为 0.4 个网络距离，读取消耗大大减 3-4 的数据块放置方式在副本的写入放置时消耗的网络距离大于图 3一次放置，长期读取以及数据读取请求较为频繁的应用来讲，读取也是一个值得在副本放置时考虑在内的因素。

介绍了 OptorSim 的特点和作为仿真实验工具的原因，描环境配置的过程，最后通过加入本文 RAT 算法到副本复制的验，并对实验数据进行分析对比。.1 OptorSim 模拟器OptorSim 通过模拟欧洲云存储数据网络中的各个结点以及部程，达到评价不同的副本管理策略和优化算法性能的目的[38本管理机制的模拟上。使用者可以通过对模拟器的不同调度、网络拥塞程度以及副本管理方法进行参数和算法配置，开统计数据结果。

【参考文献】

相关期刊论文 前10条

1 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期

2 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

3 李东升,李春江,肖侬,王意洁,卢锡城;数据网格环境下一种动态自适应的副本定位方法[J];计算机研究与发展;2003年12期

4 王鹤群;;云存储的应用[J];记录媒体技术;2008年05期

5 栾亚建;黄烂

本文编号：2744790