基于对象分布式文件系统的存储缓存研究

发布时间：2020-08-07 20:19

【摘要】：随着信息技术的发展,当今社会的数据信息量呈指数增长,很多存储平台的量级都上升为PB级别。作为海量数据存储系统在用户层上普遍使用的管理平台一分布式文件系统已经日渐成熟,其可以以透明方式连接共享文件夹和文件服务器,将不同位置的文件数据映射到单一的逻辑层次,以达到用户访问和管理的便捷性,它的高效性、通用性、可靠性、扩展性也一直都是人们研究的热点。一方面,基于对象分布式文件系统在海量存储时表现出了更好的性能,越来越受到广泛关注。但由于其文件服务器集群的客观网络环境有所不同,基于对象分布式文件系统在异构存储环境下针对用户访问特征中的热点文件没有缓存,影响了其整体系统的性能。所以在存储领域中分布式文件系统在高效性上的研究是非常必要的。另一方面,网络缓存技术是提高一个系统高效性的有效手段之一。它通过使用具有高效传输性能的设备或者存储组件来缓存数据对象来提高系统的整体效率。因此,研究基于对象分布式文件系统的网络缓存技术有着重大的意义。本文在阅读国内外的相关文献基础上,研究了基于对象分布式文件系统和网络缓存的各个关键技术,针对当前基于对象分布式文件系统在异构存储环境中对高频访问热点文件无缓存机制的不足,设计并实现了一个基于对象分布式文件系统的存储缓存系统,本文的主要工作总结如下： (1)研究了国内外的相关数据存储系统,并根据现有的基于对象分布式文件系统,提出了其在异构存储环境下出现的问题,确定了研究的方向,设计了基于对象分布式文件系统的存储缓存模型。该模型改善了传统的基于对象文件系统的数据访问模式,并根据该存储缓存的整体架构模型设计了存储缓存的操作协议,协调客户端、元数据服务器和存储集群之间的通信及传输。 (2)以基于对象分布式文件系统的存储缓存模型和缓存操作协议为基础开发实现了基于对象分布式文件系统的存储缓存系统(Server-side Cache Scheme for Object-Based Distributed Storage System,以下简称OBSC)。OBSC改进了元数据服务器和存储集群,使之能对热点文件进行缓存处理。 (3)根据该基于对象分布式文件系统的存储缓存模型,具体研究了传统的缓存置换策略的优劣及其中的缓存准入性问题的分析,结合基于对象分布式文件系统的特点和数据部署方式提出了一个基于访问频率的热点置换策略,使两者能够完美兼容运行,并提高整体系统文件I/0速率。 (4)根据以上研究,本文给出了基于对象分布式文件系统的存储缓存的总体设计与实现。并分别进行了系统性能测试和系统开销测试并且用实验结果充分证明了系统的可行性、高效性。
【学位授予单位】：杭州电子科技大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP333

【参考文献】