面向传统文件系统的NVM块设备驱动关键技术研究
发布时间:2020-03-19 20:04
【摘要】:新型非易失内存作为下一代存储介质,具有只比DRAM内存低一个数量级的读写速度,DRAM内存一样的可字节寻址。非易失内存既可充当内存又可充当外存,将其融入现有计算机体系结构充满着挑战和机遇。非易失内存块设备驱动能将非易失内存虚拟成一个块设备,供传统文件系统使用。相对传统块设备,非易失内存块设备能将传统文件系统的性能提高一千倍。但是传统文件系统在使用非易失内存时,也存在着一些问题。首先,由于用户习惯和文件系统元数据的高访问率,传统文件系统对非易失内存的写入存在严重的不均衡性,会影响非易失内存的使用寿命。其次,文件系统往非易失内存中写入数据块时,突然的断电可能会造成数据块只写入了部分数据。最后,在传统文件系统中,用户应用一般使用缓存IO进行文件读写。在文件缓存IO中,页高速缓存与非易失内存之间的数据拷贝降低了文件系统性能。本文设计实现了一个非易失内存块设备驱动NVMBD。针对传统文件系统使用非易失内存存在的上述问题,我们在NVMBD中实现了转换层优化技术和块设备IO请求处理优化技术。转换层优化技术利用转化层实现了非易失内存的磨损平衡和数据块的原子写入。转换层主要维护非易失内存中逻辑块与物理块之间的映射关系。转换层将同一逻辑块重复写负载映射到众多物理块,一定程度上实现了非易失内存物理块的磨损平衡。转换层使用写时拷贝(copy-on-write)更新数据的同时,使用日志确保逻辑块与物理块映射关系建立的原子性,从而保证了数据块写入的原子性。块设备IO请求处理优化技术对文件缓存IO中的部分块设备IO请求处理进行了优化,将非易失内存中的数据页映射到文件的页高速缓存,省去了文件的页高速缓存与非易失内存之间的数据拷贝。经过实验测试,块设备IO请求处理优化技术将传统文件系统的性能提高了约一倍。
【图文】:
文件系统性能对于文件系统的性能测试,我们不仅自己写了测试代码进行测试,还使用了测试。IOzone 是一个文件系统测试的开源工具,其可以测试 write,re-write,,random read 等模式下的硬盘的性能。在文件系统性能测试中,我们使用的 EXT4。为了对比体现出 BMAP 的作用,我们制作了一个简单的非易失内存 SNVMBD。将 NVMBD 中的 BMAP 功能删除就得到了 SNVMBD。对一般文件系统而言,文件数据是以4KB数据块的形式存储在存储器中。一块对应于文件页高速缓存中的数据页。在实验中,我们写了一个用户应用读的 1000 个 4KB 数据页,并记录下了文件读取所花费的时间。图 5-2 中左图。我们分别在基于 NVMBD 和 SNVMBD 的 EXT4 和 XFS 文件系统上,在一读取 1B,256B,1024B 和 4096B 数据。四条曲线随着读取数据的增大体现的近。无论在一个文件的数据页上读取多少数据,文件系统都需要一个块设备器中读取 4KB 数据。其时间的差异主要来源于从内核空间往用户空间所拷不同。在 EXT4 和 XFS 中,,有 BMAP 的文件系统所消耗的周期大约为没有半。BMAP 将文件系统性能提高了一倍。
图 5 3 MMAP 性能 BMAP 对文件系统 MMAP 性能的影响。MMAP立,文件数据读写,存储器同步。映射建立只是建。文件数据读写时会触发缺页中断从存储器读取文写到存器。其中后两个步骤涉及到了块设备的读msync 即为存储器同步。基于拥有 BMAP 的 NVMBCPU 周期都大概是没有 BMAP 文件系统的一半。
【学位授予单位】:上海交通大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP333
本文编号:2590650
【图文】:
文件系统性能对于文件系统的性能测试,我们不仅自己写了测试代码进行测试,还使用了测试。IOzone 是一个文件系统测试的开源工具,其可以测试 write,re-write,,random read 等模式下的硬盘的性能。在文件系统性能测试中,我们使用的 EXT4。为了对比体现出 BMAP 的作用,我们制作了一个简单的非易失内存 SNVMBD。将 NVMBD 中的 BMAP 功能删除就得到了 SNVMBD。对一般文件系统而言,文件数据是以4KB数据块的形式存储在存储器中。一块对应于文件页高速缓存中的数据页。在实验中,我们写了一个用户应用读的 1000 个 4KB 数据页,并记录下了文件读取所花费的时间。图 5-2 中左图。我们分别在基于 NVMBD 和 SNVMBD 的 EXT4 和 XFS 文件系统上,在一读取 1B,256B,1024B 和 4096B 数据。四条曲线随着读取数据的增大体现的近。无论在一个文件的数据页上读取多少数据,文件系统都需要一个块设备器中读取 4KB 数据。其时间的差异主要来源于从内核空间往用户空间所拷不同。在 EXT4 和 XFS 中,,有 BMAP 的文件系统所消耗的周期大约为没有半。BMAP 将文件系统性能提高了一倍。
图 5 3 MMAP 性能 BMAP 对文件系统 MMAP 性能的影响。MMAP立,文件数据读写,存储器同步。映射建立只是建。文件数据读写时会触发缺页中断从存储器读取文写到存器。其中后两个步骤涉及到了块设备的读msync 即为存储器同步。基于拥有 BMAP 的 NVMBCPU 周期都大概是没有 BMAP 文件系统的一半。
【学位授予单位】:上海交通大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP333
【参考文献】
相关期刊论文 前1条
1 周狄波;王迪峰;;基于Linux的内存式WebGIS设计与实现[J];计算机应用;2009年07期
本文编号:2590650
本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2590650.html