基于容错及检错的云存储可靠性技术研究

发布时间：2022-01-10 14:06

　　大数据时代给数据的存储和处理带来了极大的挑战,现代的云数据中心规模越来越大以满足海量的数据存储和处理要求。在Google云计算数据中心,服务器的规模已达到数以百万计,如此多的普通数据服务器全天候的提供服务,节点失效已成为常态,因此,如何有效提高数据的可靠性,保证系统在部分节点失效时依然能提供高质量的服务水平是值得深入研究的课题。本文针对构建低冗余度、高可靠性云存储系统的关键问题,在总结了当今数据可靠性增强理论和海量数据存储系统基本架构的基础上,对副本容错、纠删码容错、失效检测等方面进行了深入的研究,取得了一定的进展,具体如下:（1）针对云存储静态副本策略效率不高的问题,本文提出了一种云存储动态副本容错策略。动态副本容错策略包括副本的放置策略和副本的数量调整策略。副本的放置策略根据节点的相关性把节点分成不同的分组,并将不同的分组组织成一个虚拟的环,采用一致性Hash算法实现副本的组间布局,在组内以节点的性能和负载为衡量指标,采用TOPSIS（Technique for Order Preference by Similarity to an Ideal Solution）理论解决基于性能... 

【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校

【文章页数】：146 页

【学位级别】：博士

【部分图文】：

云存储系统架构图

8oop Distributed File System[33]采用了与GFS 类似的主从体系结构，由唯一的 Nade 节点组成。NameNode是云存储系统的核心节点，间，管理元数据和数据块，心跳检测，监控节点状态DataNode 在 NameNode 的管理下进行文件的存储和访除操作也是在DataNode 上进行。因此，DataNode 的和向NameNode 报告节点的状态信息。HDFS 的系访问过程首先由客户端发起，它向 NameNode 发送元数据信息返回给客户端，最后由客户端直接与 D的读写功能。文件具体的访问流程（读操作）可分

武汉理工大学博士学位论文客户端发出文件访问请求，元数据服务器在收到客户端的文件访问请求后数据管理模块将访问请求转换为元数据并获取元数据的一系列控制信息，通节点管理及副本管理等模块的控制，选择最合适的数据存储服务器作为访问节点。

【参考文献】：
期刊论文
[1]对等网络中一种优化的副本分布方法[J]. 孙新,李庆洲,赵璞,王克祥,潘凡.  计算机学报. 2014(06)
[2]基于时间序列预测的自适应失效检测模型[J]. 石磊,景京,卫琳,陶永才,曹仰杰.  小型微型计算机系统. 2014(03)
[3]一种副本复制和纠错码融合的云存储文件系统容错机制[J]. 杨东日,王颖,刘鹏.  清华大学学报(自然科学版). 2014(01)
[4]一种容三盘失效纠删码的单数据盘失效快速重建方法[J]. 邱丽娜,王芳,李楚.  计算机学报. 2013(10)
[5]异构环境下云计算数据副本动态管理研究[J]. 陶永才,张宁宁,石磊,卫琳.  小型微型计算机系统. 2013(07)
[6]基于快速重构机制的混合式失效检测算法[J]. 杨猛,燕雪峰.  小型微型计算机系统. 2013(04)
[7]云计算:实例研究与关键技术[J]. 柯栋梁,郑啸,李乔.  小型微型计算机系统. 2012(11)
[8]基于博弈思想的副本创建策略研究[J]. 王小梅,李新明,王帅.  计算机工程. 2012(17)
[9]基于纠删码和动态副本策略的HDFS改进系统[J]. 李晓恺,代翔,李文杰,崔喆.  计算机应用. 2012(08)
[10]Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J]. 孙大为,常桂然,高尚,靳立忠,王兴伟.  Journal of Computer Science & Technology. 2012(02)

博士论文
[1]分布式存储系统中的节点自主性问题研究[D]. 宋玮.华南理工大学 2010
[2]分布式安全存储系统纠删码技术的研究[D]. 万武南.中国科学院研究生院（成都计算机应用研究所） 2006

硕士论文
[1]云计算环境下的容错存储技术研究[D]. 裴晓强.国防科学技术大学 2011



本文编号：3580844