分布式文件系统性能测试和优化研究

发布时间：2021-04-05 20:56

　　互联网的快速发展不仅给我们的生活带来了巨大改变,也带来了数据量的迅猛增长。人们需要处理的数据量已经从TB级别增长到PB、EB,甚至ZB。分布式文件系统具有的高并发、高扩展能力、高性能、高可用、大容量等特点使其成为存储海量数据的理想选择。GlusterFS是一个开源的分布式文件系统,是本文的主要研究对象。本文首先对GlusterFS的架构和关键技术,尤其是其独特的弹性哈希算法进行了详细的分析。根据分析结果设计测试用例,搭建测试环境,对系统的性能进行测试。包括GlusterFS的四种基本卷在NATIVE、NFS、CIFS三种使用方式下的顺序读写性能、分散卷使用libgfapi时的聚合性能、GlusterFS的元数据性能,并对测试结果进行了比较和分析。在测试中,我们发现系统在存储大文件时表现良好,特别是其聚合性能。但是它的元数据操作性能却差强人意。为此,我们改进了GlusterFS的元数据存储方式,在GlusterFS的Brick上,使用LevelDB存储每个目录和文件的扩展属性及其元数据。当GlusterFS执行需要变更元数据的操作时,同时更新LevelDB;当GlusterFS执行元数据... 

【文章来源】：兰州大学甘肃省 211工程院校 985工程院校 教育部直属院校

【文章页数】：52 页

【学位级别】：硕士

【部分图文】：

GFS架构

兆字节的存储。与大多数分布式文件系统的情况类似，一个集群的聚合输入输出可以超过每秒 1 兆兆字节。Lustre 计算集群可以组合成更大的集群。如图2-2所示，Lustre 的架构包括三个关键组件：元数据服务器（MDS）、对象存储服务器（OSS）和管理服务器（MGS）[8]。对象存储服务器进行实际的独6

当集群的规模较大时，节点之间同步信息的效率会变差，而且会增加信息不一致的概率。GlusterFS 的总体架构如图3-1所示，主要由服务器端和客户端组成。Infini-band 或者 tcp 用来连接集群中的服务器，所有服务器节点也称为可信存储池。集群中任何一个单一节点都可以作为主节点创建可信存储池。可信存储池甚至可以只包含一个节点，每个节点可以有多个 Brick。Brick 可以是本地文件系统中的任意一个目录，多个 Brick 通过各种不同的方式可以组合成各种类型的卷。由于GlusterFS 的数据直接存储在服务器的本地文件系统上，Brick 目录可以是任何一种常见的 Linux 文件系统，如 ext4[29]、btrfs[30]、xfs[31] 等。卷必须建立在可信存储池之上。GlusterFs 的客户端于服务器端共用一个程序入口，但是由于 GlusterFS 没有元数据服务器

【参考文献】：
期刊论文
[1]大规模分布式文件系统元数据管理综述[J]. 王洋,刘星,须成忠,江松,王刚,文韬,范小朋,陆平.  集成技术. 2016(02)
[2]分布式存储系统的哈希算法研究[J]. 黄秋兰,程耀东,陈刚.  计算机工程与应用. 2014(01)
[3]蓝鲸分布式文件系统元数据服务[J]. 杨德志,许鲁,张建刚.  计算机工程. 2008(07)

硕士论文
[1]Ceph文件系统元数据访问性能优化研究[D]. 葛凯凯.华中科技大学 2016



本文编号：3120088