基于用户态文件系统的共享访问与性能提升研究

发布时间：2021-09-22 03:13

　　研究并实现面向NVMe SSD的用户态高性能共享式文件系统（UHSFS）,并提出简单弹性的数据布局技术、多粒度IO队列弹性分离技术以及多用户共享内存架构,这些关键技术能够显著地提升元数据的操作性能和IO处理能力,并且实现用户态文件系统的共享访问。实验结果表明,与UNFS,NVFUSE,BLOBFS和BLUEFS等用户态文件系统相比,UHSFS的元数据操作性能和Filebench综合负载性能最优;IO队列分离技术能够大幅度地提升吞吐量;与F2FS, XFS, Ext4等内核态文件系统相比, UHSFS同样表现出性能优势。 

【文章来源】：北京大学学报(自然科学版). 2020,56(06)北大核心EICSCD

【文章页数】：11 页

【部分图文】：

UHSFS文件系统布局

2)大小分离。大负载顺序写请求的性能显著好于小负载随机写请求。在文件系统中,由于文件大小的不同、分配数据块的不连续性以及上层应用发出请求的不确定性,可能在底层IO提交队列产生不同负载类型的写请求相混合的情况。例如,当小文件频繁更新时,会产生大量碎片化的随机写请求,当这些随机4 KB写请求与大页面的2 MB顺序写请求相混合时,可能降低文件系统的性能。Lu等[26]的研究表明,将不同大小的负载进行分离能有效地降低写放大,并提高性能。本文利用NVMe多队列特性,将UHSFS大负载的顺序写请求和小负载的随机写请求分离。为了使得各IO的总体时间延迟T最小,本文提出式(1),即求得Diq来判断将当前IO放至哪个队列中。

其中,Ej表示共享内存中第j个文件换出的指标,指标越大,表示越应该换出;Sj表示共享内存中第j个文件的大小;T表示一段时间周期;tji表示共享内存中第j个文件,在T时间周期内,在时间i内,最近未被使用的时间;Rji表示共享内存中第j个文件,在T时间周期内,在时间i内的相关系数,Rji=Mji/N,N为总进程数,Mji为在时间i内,对第j个文件有操作的进程的数量。α表示LRU参数,根据历史统计获取;β表示相关性参数,根据历史统计获取;γ表示全相关参数,取一个很小的数值,为避免1-Rji为0,根据历史统计获取。除在进程间利用共享内存外,本文还提出更细粒度的,非统一内存访问(non-uniform memory access architecture,NUMA)内的共享内存,用来解决跨NUMA内存接触和访问NVMe设备的高延时问题。管理进程将负责请求处理的工作线程绑定在与NVMe设备同NUMA节点的CPU上,此外,管理进程使用一个全局预分配的同NUMA节点的内存池作为数据缓冲。对于特定的NVMe设备,工作线程是唯一的,仅从同NUMA节点内存池中分配读写缓冲区。因此,缓存命中率得以进一步提升,对文件元数据以及数据的操作也可以在无锁的情况下完成,降低了CPU开销。请求队列的存在也为进一步的IO优化提供了契机。总之,管理进程通过为每个NVMe SSD分配一个同NUMA的工作线程,实现简洁高效的请求处理。

【参考文献】：
期刊论文
[1]闪存存储系统综述[J]. 陆游游,舒继武.  计算机研究与发展. 2013(01)



本文编号：3403021