云存储中元数据管理关键技术的研究与实现

发布时间：2017-09-12 10:42

  本文关键词：云存储中元数据管理关键技术的研究与实现

  更多相关文章： 云存储 元数据管理 分布算法 元数据缓存替换 云网盘系统

【摘要】：云存储已经得到越来越广泛的应用,而它的构建离不开分布式文件系统的支持。当前主流的分布式文件系统都是把元数据和数据分离开来进行管理,元数据被单独保存在元数据服务器节点上,而文件数据存放在数据存储节点中。显然,元数据节点的性能关系到整个存储系统的性能。本文首先对云存储底层支撑中的分布式文件系统的关键架构技术进行了研究,发现很多主流分布式文件系统使用单个节点来管理系统中的元数据,这种架构在面对云存储的海量数据环境下,很容易因为节点自身的内存以及某些热点数据和网络带宽等给整个系统带来性能瓶颈。然后,本文分析了元数据管理策略的特性和主要技术,针对元数据管理的关键问题展开了深入研究。研究中发现,目前大部分元数据管理策略存在一些不足:(1)当文件重命名和目录修改时需要迁移大量元数据,从而造成大量网络开销。(2)由于大量客户在同一时间集中访问某一元数据,而使集中式的单元数据服务器(Metadata Server,MDS)成为访问“热点”,从而造成负载失衡,影响系统的性能。元数据缓存可有效减少MDS与数据库服务器之间的交互,从而减少系统响应时间,提高系统性能。针对上述问题,本文借鉴当前主流分布式文件系统的设计理念,提出了一种适合云存储环境的元数据管理方案。主要包含以下几点:(1)用分布式的元数据服务器集群来代替单一的元数据服务器。(2)使用基于伪随机序列的分布算法,并以目录为粒度来分布元数据。(3)把元数据缓存技术引入元数据管理中,并提出了元数据保留值的概念,根据云存储环境中元数据的访问特性设计了计算元数据缓存保留值的规则,给出了基于保留值的缓存替换算法和缓存写回算法。通过仿真实验,发现本文提出的伪随机分布算法能使元数据分布的均衡性显著提高,并能从统计意义上保证迁移的数据量最优,算法的执行效率也非常可观。而本文提出的基于保留值的缓存替换算法与传统典型替换算法相比,不仅更能提高缓存命中率,还更具备稳定性和灵活性,从而使云存储中元数据管理的效率明显提高。最后介绍了云网盘系统的设计与实现,并在实现中应用了上文元数据管理策略的研究成果,以此来验证其可行性。
【关键词】：云存储 元数据管理 分布算法 元数据缓存替换 云网盘系统
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333;TP311.13
，

本文编号：836759