面向NVM的Lustre客户端持久性缓存研究

发布时间：2020-05-12 17:20

【摘要】：高性能计算(High performance computing,HPC)系统通常物理上存在多个存储层次,并采用分层存储管理机制组织数据。突发缓冲区技术(burst buffer)常作为计算节点和后端存储层(由Lustre、GPFS等管理)之间“快”的存储层来提升整个HPC集群性能,但burst buffer技术与管理后端存储层的分布式文件系统并未形成一个全局的命名空间,数据在不同存储层的“迁移”仍然需要管理人员的参与,增加了管理的复杂度及成本。另外,在HPC领域,分布式文件系统中数据和元数据存放在专用的服务器节点上,客户端节点(也是计算节点)上的应用通过网络来访问数据和元数据,这样会带来网络延迟以及客户端应用之间争用共享资源的问题。而客户端节点常配置较高性能的存储设备,如基于Flash的SSD,甚至性能更高的基于3D XPoint的SSD等,但这些高性能的本地存储介质的利用率并不大(大量数据仍然存储在容量更大、更廉价的后端存储层)。因此,充分利用客户端性能优异的存储设备,实现高效、灵活的缓存层,具有重要的研究价值。基于Lustre,提出了一种面向新型非易失性存储器的客户端持久性缓存系统NVMLPCC(Non-volatile memory-oriented Lustre Persistent Cache on Client)。利用Lustre客户端高性能的非易失性存储器,NVM-LPCC实现了两种缓存模式:读写缓存模式和只读缓存模式。在读写缓存模式中,文件被单客户端缓存,加速单客户端应用读写性能;在只读缓存模式中,文件能够被多客户端缓存,加速多客户端应用读性能。NVM-LPCC充分利用Lustre的分层存储管理机制和分布式锁管理机制,在全局命名空间下,实现了数据在客户端缓存层和Lustre服务器端存储层之间灵活的同步操作,并维持了数据的一致性和有效性。实验结果表明,NVM-LPCC相比原生Lustre系统能够提高35.82倍的平均读带宽,9.65倍的平均写带宽,并且具有很好的扩展性。此外,使用新型非易失性存储器作为客户端缓存介质相比使用普通SSD平均读带宽提升10.40倍,平均写带宽提升4.41倍。
【图文】：

缓存,读写,存储层

图 4-2 读写缓存模式下 attach 以及 restore 操作图 4-3 只读缓存模式下 attach 以及修改缓存文件操作4.3 读写缓存模式测试本节首先采用 Fio 测试工具在单客户端下对不同存储层的读写性能进行测试；接着，使用 Filebench 模拟负载，进一步测试了 NVM-LPCC 的性能；最后，在多客户端环境下，测试了 NVM-LPCC 方案的扩展性。4.3.1 不同存储层性能

缓存,文件操作,只读

图 4-3 只读缓存模式下 attach 以及修改缓存文件操作4.3 读写缓存模式测试本节首先采用 Fio 测试工具在单客户端下对不同存储层的读写性能进行测试；接着，使用 Filebench 模拟负载，进一步测试了 NVM-LPCC 的性能；最后，在多客户端环境下，，测试了 NVM-LPCC 方案的扩展性。4.3.1 不同存储层性能本文设计的 Lustre 客户端缓存系统采用本地文件系统来管理缓存数据，文件操作方式均采用 POSIX 接口。因此，可以较为容易地将不同的存储介质和本地文件系统整合到 Lustre 客户端缓存系统中。为了对比不同存储介质对缓存性能的影响，本文也实现了基于 SSD 并使用 EXT4 来管理缓存数据的 Lustre 客户端缓存方案 SSD-LPCC。而且，本文整合了不同的开源文件系统 EXT4-DAX、PMFS、NOVA 来管理客户端的 NVM，形成了三种不同的 NVM-LPCC 方案，分别是 EXT4-DAX-LPCC，PMFS-LPCC，NOVA-
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333

【相似文献】