面向PB级存储系统的元数据集群管理容错方法研究与实现

发布时间：2022-02-13 14:44

　　随着计算机技术,信息技术和互联网络的发展,高性能计算、商业计算、大规模数据处理、信息处理等技术得到广泛的应用。集群系统因其较高的性能价格比和较好的可扩展性而受到越来越多的青睐。与此同时,这些应用对分布式数据存储提出了更大容量,更高性能,更高可用性的要求。新兴的对象存储结构能够利用现有的处理技术、网络技术和存储组件提供空前的可伸缩性和聚合吞吐量,为构建新一代的大规模并行存储系统提供了基础。本文在全面深入了解对象存储体系结构与现有对象存储系统的基础上,对基于对象存储体系结构的大规模集群存储系统所涉及的元数据集群管理的容错问题进行了深入的研究,提出了新颖的思想和解决方法。主要的贡献如下:（1）提出一种面向PB级存储系统的基于目录对象副本的高可用元数据管理模型。通过采用高效的、并发的目录对象副本放置、更新、迁移策略以及管理机制,既保证实现了目录对象数据的可靠性和可用性,又增加了读取数据时的聚合网络带宽,提高读操作的性能。同时采用马尔可夫激励模型进行了定量可用性分析。实际的功能测试与性能测试表明该模型方法能够有效保证存储系统的高可用性,提高元数据服务器集群的整体访问性能。（2）提出了一种对面向基... 

【文章来源】：国防科技大学湖南省211工程院校985工程院校

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

元数据集群系统的体系结构

国防科学技术大学研究生院学位论文图如下图3.3所示:客户端(10，000一l，000，000+)羚羚 羚蟠 蟠场场粉 粉场 场鄂鄂缈缈鄂鄂粉粉鹦 鹦钾 钾鄂 鄂擅 擅擅擅 擅着 着 着.攀纂 纂 纂 ~~~白勺 ...............摹 摹摹摹 摹续鳌鳌 弓弓 弓 弓 耀耀耀耀 耀 耀 耀 耀 耀 耀耀 耀 耀 魂 魂 魂魂魂魂魂魂魂 魂魂 魂 魂缨 缨 缨 灌灌灌灌 灌 灌灌灌 灌 灌 灌 灌 灌 食食食 食食食食 食 食食食 食霎 霎 霎一耀 耀 蘸蘸 ...{、{{{赢 赢 赢赢 lll赢 赢 匕____j瞥f二竺______l图3.3元数据集群系统体系结构扩展后的对象存储体系结构图3.2.3元数据集群系统小结本文的基于对象存储的集群文件系统oeFs(objeet一 basedeluste:Filesystem)[，]通过采用对象存储体系结构的方式将文件数据访问控制流和数据流有效地分离，为系统客户提供高吞吐率，可扩展的数据服务。同时，在此基础上，对对象存储体系结构进行了进一步的扩展和延伸，将MDS集群按照对象存储体系结构的方式予以扩展

第二步:从那个检查点处，通过日志向后遍历查找对欲读取的数据进行的变更或改变，如果找到了历史版本，就直接使用它，否则的话(如果没有找到的话)，就从做了元数据检查点的Tcp处读取数据。第一步，第二步分别如图5.4，图5.5，图5.6所示。第一步:一第51页—

【参考文献】：
期刊论文
[1]基于目录路径的元数据管理方法[J]. 刘仲,周兴铭.  软件学报. 2007(02)
[2]一种基于检查点的卷回恢复与进程迁移系统[J]. 汪东升,沈美明,郑纬民,裴丹.  软件学报. 1999(01)

博士论文
[1]基于对象存储结构的可伸缩集群存储系统研究[D]. 刘仲.国防科学技术大学 2005



本文编号：3623380