私有云存储系统元数据管理模块的设计与实现

发布时间：2019-10-14 10:53

【摘要】：随着公司、企业信息化程度不断提高，在企业内部运作所需要的数据无论从规模还是种类都高速增长的今天，企业急需一种架构高可扩展，数据高可靠的存储服务以满足企业内部应用需求。在此之前企业数据往往采用单台计算机存储加上重要数据集中存储的方法进行管理。企业中个人用户把数据存储在各自的电脑上，这种数据存储方式在照成企业内部普通数据共享极大不便的同时，更因为个人电脑单机故障问题使这种存储方式存储企业数据存在巨大的安全隐患。私有云存储技术因其数据存储效率高、数据高可靠等特点成为存储企业数据一种很好的解决方案。而私有云存储平台中元数据管理模块成为访问的热点，其元数据高效管理方式、数据并发性以及数据安全性成为元数据管理模块设计的重点和难点。本文结合企业云存储平台需求，提出一套全新贴合企业用户需求的私有云存储平台（C-store），，设计并实现了架构高可扩展、数据高可靠且支持用户文件系统访问行为的元数据管理模块集群。本文从总体上介绍C-store项目以及基本架构以及系统基本模块组成，并详细介绍了系统中元数据管理模块的设计与实现工作。本文采用哈希桶策略把来自不同用户的元数据均匀的散列在多个逻辑桶中，并根据元数据集群各节点负载情况进行合理的调配存放。在元数据服务器内部，系统采用最长路径匹配方法，使用户元数据操作最快速的定位到元数据子表中。与此同时，系统采用内部热点分表策略、节点间桶迁移策略动态地平衡单台元数据服务器以及集群间各台主机之间元数据访问负载压力。系统通过元数据一致性检查策略以及元数据容灾备份策略保证元数据的安全性问题。通过测试私有云元数据管理模块从功能和性能上都能满足企业私有云存储元数据定位需求。本文分别从需求分析、总体设计和详细设计的角度分析了元数据管理模块中客户服务模块、元数据内部分表管理模块、集群元数据部署调度模块、元数据一致性检查模块、元数据容灾备份模块的设计与实现。
【图文】：

原理图,原理图,技术,客户端

图 2-1 NFS 原理图术eer，点对点技术）技术是在传统网络存储的统中，每台计算机既是客户端进行下载文件口。P2P 技术的出现充分的利用了客户端上传几种 P2P 技术。uted hash table，分布式哈希表）是一种应用没有中心控制节点，集群中单台服务器通过户提供基于 key-value 键值对的存储和查找服查找到其所对应的 value 文件。当新节点加入

架构图,架构,分布式路由协议,重叠网

lue 键值对存储和查找服务，当用户指定某一个值作为 key 向 Chord发起一次查询请求时，节点会把 key 值和节点 ID 做比较，如果 keyD，则此次查询会交由此节点的后继节点处理，直到找到用户查询值时，Chord 改良的分布式路由协议能保证较高的自组织效率[6]，Ch节点的加入和旧节点退出，系统内修改调整的时间复杂度为 O(K/N BATONTON[7](Balanced tree over-lay Network，平衡树重叠网)是一种树状组2P 网络，系统架构如图 2-2 所示。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2012
【分类号】：TP333;TP315

【参考文献】