云环境下数据副本选择策略研究

发布时间：2020-02-05 13:24

【摘要】：随着云计算的兴起与发展，云存储技术也迅速发展起来。传统的文件系统已经不能满足云存储服务的需求，因此，分布式文件系统作为云存储的关键技术也日益重要起来。目前，互联网上应用最多的分布式文件系统有谷歌的GFS、Hadoop的HDFS以及MooseFS等。这些分布式文件系统中的存储节点大多采用性能不高的PC机，为避免这些PC机因无法预知的硬件设备损坏、电源中断、黑客攻击、病毒入侵、火灾、地震及恐怖袭击等情况发生时造成的数据损坏和丢失带来的数据不能正常访问现象，，分布式文件系统一般采用数据备份的方法，即副本技术，就是将同一数据存储到不同的存储节点上。系统中引入副本技术后，当客户端访问分布式文件系统中存储的数据资源时就会存在选取哪个存储节点作为访问对象的问题。 分布式文件系统GFS和HDFS采用计算距离的方法来选择数据副本，每次选择离用户最近的存储节点来读取数据，而MooseFS选取的是读写次数最少的存储服务器来读取数据。GFS、HDFS和MooseFS都是网络分布式文件系统，数据存储服务器和客户端之间是通过网络传递数据的，所以数据存储服务器带宽的大小会直接影响到客户端读取数据的速度。带宽大小与客户端读取数据的速度成正比。在MooseFS数据副本选择算法中，虽然各数据存储服务器I/O负载均衡，但每次选择的数据存储服务器的带宽不一定是最好的，导致客户端读取数据的速度较慢。 本文提出了基于带宽的蚂蚁算法的数据副本选择算法。蚂蚁算法是一种启发式算法，它是通过利用与环境的动态交互获得的反馈信息来调整自我，获得最佳解的过程。蚂蚁算法已经被广泛应用于许多求解最优解的问题中，如TSP分配问题、网络路由、任务调度及着色问题等。在MooseFS分布式文件系统中，选择一个最佳副本也是最优化问题，并且蚂蚁算法具有正反馈性、协同性和并行性，算法的可扩展性适合于节点动态随机变化的分布式文件系统，这些特性使得蚂蚁算法适合解决分布式系统中的数据副本选择问题，所以在理论上基于蚂蚁算法的数据副本选择算法具有可行性。实验测试结果显示，基于蚂蚁算法的数据副本选择算法提高了客户端读取数据的速度，降低了客户端访问数据的时间。
【学位授予单位】：内蒙古科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】

相关期刊论文 前10条

1 乐群星;魏法杰;;蚂蚁算法的基本原理及其研究发展现状[J];北京航空航天大学学报(社会科学版);2005年04期

2 董晓霞;吕廷杰;;云计算研究综述及未来发展[J];北京邮电大学学报(社会科学版);2010年05期

3 拓守恒;;云计算与云数据存储技术研究[J];电脑开发与应用;2010年09期

4 周轶男;王宇;;Hadoop文件系统性能分析[J];电子技术;2011年05期

5 邓见光;潘晓衡;袁华强;;云存储及其分布式文件系统研究[J];东莞理工学院学报;2012年05期

6 陈昊;;蚁群优化算法的原理及其应用[J];湖北大学学报(自然科学版);2006年04期

7 沈薇;刘方爱;;基于模拟退火算法的数据副本选择策略[J];计算机工程与应用;2006年35期

8 李静;;一种基于预测的网格数据副本选择算法[J];计算机应用;2008年09期

9 马艳军;吕爽;刘一谦;;集群文件系统lustre的介绍及应用[J];科技信息;2012年05期

10 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

相关博士学位论文 前2条

1 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年

2 谭支鹏;对象存储系统副本管理研究[D];华中科技大学;2008年

本文编号：2576648