BeeGFS并行文件系统性能优化技术研究

发布时间：2020-12-19 02:13

　　大数据和人工智能时代,超级计算中心或数据中心的存储需求从PB级向Exabyte级扩展,许多大数据和智能应用程序在高性能计算(HPC)系统上运行,新兴的深度学习应用程序具有批量小文件随机输入特点,使HPC系统的I/O模式更趋复杂,存储管理和I/O瓶颈问题日益突出。并行文件系统是管理超级计算机数据存储的有效手段,但传统并行文件系统主要面向高带宽需求的科学计算任务,难以满足智能应用程序存储需求。针对上述问题,以新兴的BeeGFS文件系统为基础,研究并行文件系统性能优化的关键技术。设计实现了基于键值存储的元数据管理模块以优化元数据IOPS,基于异步I/O和多线程技术的并行I/O处理模型以提升I/O处理并发度,并采用多轨通信机制以提高网络通信带宽。构建了IO500性能评测环境,在相同的配置环境下,I/O带宽和元数据2类基准测试结果表明,改进后的并行文件系统在元数据、数据读写性能上大幅提升,IO500测分是原有系统的2倍以上。 

【文章来源】：计算机工程与科学. 2020年10期 北大核心

【文章页数】：9 页

【部分图文】：

BeeGFS并行分布式文件系统架构

针对BeeGFS进行元数据方面的性能测试与分析,部署5个Client端,分别测试4个和5个MDS组成的元数据集群,文件创建、查看文件状态和文件删除的性能测试结果如图2所示,其中横坐标轴表示每个Client的进程数,纵坐标轴表示IOPS。测试结果表明,文件创建性能最高为98 341 IOPS,查看文件状态最大性能为384 449 IOPS,文件删除最高性能为20 510 IOPS,根据BeeGFS的元数据分布方式:目录随机分布到元数据结点,文件仍然由父目录所在的服务器处理,这些元数据操作大部分发生在单结点中,是利用本地文件系统的文件attr属性来存储约128字节的元数据。而在键值存储中,比如著名的RocksDB,在单结点中对100万条记录对(Key:16 Bytes,Value:100 Bytes)进行处理,其性能为随机写631 222 IOPS,随机读2 577 505 IOPS,而在pmemkv这类键值存储中,性能更高。

表1 获取/dir/file过程中的Key和ValueTable 1 Key-value used by/dir/file Key Value 1 inode{is_directory,”/”,stat,atime,ctime,mtime…} 2 inode{is_directory,”dir”stat,atime,ctime,mtime…} 3 inode{is_directory,”file”stat,atime,ctime,mtime…} 1,”dir” 2 2,”file” 3算法1 基于KV元数据结构获取/dir/file


本文编号：2925058