基于对象存储元数据管理策略的研究与实现

发布时间：2020-01-31 13:55

【摘要】：目前在超级计算领域，对高I/O吞吐率、高并行性和高扩展性的存储系统要求日益迫切，而传统的存储系统已经难以满足应用需求，实际的需求推动着存储系统不断向前发展，一种新兴的存储模式，基于对象存储系统（Object Based Storage，OBS）应运而生，成为当前存储技术发展的主要趋势。文件级元数据主要由OBS中元数据服务器（Meta-data Server，MDS）进行存储和管理，元数据具有文件小而数量多的特点。在OBS操作系统中50%-80%的文件操作与元数据息息相关，因此元数据管理的管理效率一定程度上决定着存储系统性能的高低。目前的元数据管理策略存在几个方面的不足：1）元数据重命名和修改目录会造成大量元数据迁移和网络开销。2）集中式单MDS因大量客户同时对某一元数据高密度的集中访问而成为“热点”，造成负载失衡从而影响系统的性能。针对上述不足，本文提出了一种可以运行在分布式多MDS环境下新的元数据管理策略——DMHM策略。该策略引入改进的B+树结构，将目录子树分割若干B+等子树，可以将MDS中的目录元数据和文件元数据分别进行管理与存储。DMHM策略不仅可以降低重命名和修改产生的开销，而且可以有效避免热点的产生，保持负载平衡。在此基础上，设计并构建了一个小型的分布式MDS系统——DMSS模型，并在DMSS系统提供的分布式MDS系统环境下，对DMHM策略的文件、目录等操作进行实现。针对负载均衡问题，设计了元数据动态均衡算法，引入了热度统计概念，以叶子元数据为热度统计单位，并完成DMHM策略“热点”的添加、分散、复制和删除操作，以提高系统性能的可用性与扩展性。最后进行了测试分析，分别对静态子树法、Lazy Hybrid（LH）法和DMHM策略进行了比较。对元数据分布的测试表明，DMHM策略元数据在总体上呈均匀分布；对元数据迁移率的测试表明，DMHM策略相对与其它元数据管理策略，迁移率要小的多；对吞吐量的测试表明，DMHM策略相对于其它两种策略具有明显的优势，更加适合动态变化的分布式MDS系统；对读操作、创建操作和重命名操作的时间响应度测试表明，DMHM策略的系统响应时间明显低于静态子树法，在文件目录重命名操作上提升也非常明显，，具有很大的优势。
【图文】：

模型体系,扩展属性,重命名

件关键字与其父目录扩展属性和扩展属性的扩充结对，确定其所在扩展属性中的分组。据中，利用二分查找法确定，需重命名文件关键字重命名操作。的文件关键字与其父目录扩展属性重新进行比对，在扩展属性中的分组。字重命名前的叶子元数据内，对重命名文件关键字字重命名后，新匹配的叶子元数据内，对重命名后 MDS 系统构架与元数据管理S 与集中式单 MDS 最大的不同在于：集中式单 MD分布式多 MDS 是用两个或多个元数据节点管理元度上避免了大量元数据集中访问时造成瓶颈‖。DMHM 策略的条件下，设计了一个小型的分布ted Metadata Server System)，其体系结构如图 19 所

组织结构图,元数据,文件元数据,目录

分布式 MDS 系统中，除了目录元数件元数据主要包括：文件的访问属示同一目录下，多个文件元数据关数据权限，其组织结构如图 20 所示叶子元数据文件元数据及其关键字属性列表图 20 叶子元数据组织结构图文件元数据被存储在同一个服务器同，并按顺序从小到大排列。属性元数据、目录元数据、文件元统中的主 MDS 和从 MDS 两种服务
【学位授予单位】：解放军信息工程大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP333

【参考文献】