一种面向海量存储系统的高效元数据集群管理方案

发布时间：2018-04-13 10:01

本文选题：元数据管理 + 一致性Hash　；参考：《计算机研究与发展》2015年04期

【摘要】：高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server,MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.
[Abstract]:An efficient and decentralized metadata management scheme plays an important role in the reliability and scalability of large distributed storage systems.The extension of metadata management scheme based on Hash partition and subtree partition is costly and sensitive to cluster changes.This paper presents a cluster scheme of metadata server metadata server based on conformance Hash structure: CH-MMS-based Hash based metadata management schema).CH-MMS introduces virtual MDS(Virtual MDSs into the conformance MDS cluster to effectively balance the load of MDS cluster.The Standby mechanism is combined with the delayed update strategy and applied to the MDS cluster to achieve fast MDS failure recovery and zero data migration when the cluster changes.This paper describes the architecture of CH-MMS, introduces the core data structure layout-table, virtual MDS, delay update mechanism and related algorithms, and makes a qualitative analysis of the extensibility and fault-tolerance of CH-MMS.Finally, the prototype system and simulation experiments show that CH-MMS has the characteristics of balanced distribution of metadata, fast failure recovery, flexible expansibility and zero node change data migration.It can meet the needs of flexible and efficient management of large scale storage cluster metadata with increasing amount of data.
【作者单位】：广西大学计算机与电子信息学院;中国科学院软件研究所软件工程技术研究开发中心;
【基金】：国家自然科学基金项目(61063012,61363003) 广西自然科学基金项目(2012GXNSFAA053222) 广西高校优秀人才资助计划项目([2011]40) 广西科学研究与技术开发计划项目(桂科软13180015,桂科攻1348020-7) 南宁市科学研究与技术开发计划项目(201109016A)
【分类号】：TP333

【共引文献】