基于新型非易失存储I/O栈的优化技术研究和实现

发布时间：2021-07-12 09:40

　　随着个人移动设备的普及和互联网、物联网等信息技术的快速发展,我们的生活已经进入了大数据时代。如何从海量数据中高效地获得有效信息,帮助和指导人们进行决策,是大数据时代下我们面临的重大挑战,同时也为我们带来了前所未有的机遇。存储是大数据处理平台的基础设施,传统的机械磁盘由于其高访问延迟、低带宽,难以满足海量数据快速处理和存储的需求,这也促进了各种新型非易失存储介质的蓬勃发展,涌现了以flash、PCM为代表的各种新型非易失存储介质。传统的I/O栈是基于磁盘设计和优化的,相对于新型非易失存储,仍有许多不适合之处。因此,我们需要对传统的I/O栈进行优化,以便充分利用新型非易失存储的性能。针对现今广泛应用于企业级的PCIe闪存固态盘,本文对传统I/O栈的块层、驱动层进行了优化研究。基于我们自主设计的PCIe闪存固态盘原型系统,通过采用内核缓存旁路技术、本地命令队列优化设计、多请求队列和多中断的优化方法,PCIe闪存固态盘的性能得到大幅提升,读写带宽从2GB/s提升到2.8GB/s,4KB读请求IOPS增加到原来的4倍,4KB写IOPS增加到原来的6倍。针对新型非易失存储介质访问低延迟的特性,本文... 

【文章来源】：国防科技大学湖南省 211工程院校 985工程院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

数字宇宙预测趋势

国防科学技术大学研究生院硕士学位论文下降，基于 flash 的固态盘在市场上得到了广泛应用，取代传统磁盘势。目前的非易失存储半导体市场，仍然是 flash 一家独大的局面，失存储要么还处于研究中，要么由于受到其他方面的限制导致所占。这些新型非易失存储介质在速度、功耗方面都远远优于 flash，目问题是集成度不高，无法做到像 flash 那样的大容量。图 1.2 比较了介质单片容量和写性能。不难想象，一旦这些存储介质在集成度这，必将取代 flash 甚至 DRAM，迅速占领非易失存储市场，引发存储变革，对整个计算机系统结构也将产生深远的影响。

国防科学技术大学研究生院硕士学位论文销往往在几十个微秒左右[35]，而磁盘一次读写操作往往需要几个毫秒[36]，因对于磁盘，传统的 I/O 栈带来的开销往往可以忽略不计。但是，对于各种新型失存储介质，其读写访问时间往往在微秒级甚至纳秒级，如上表 1.1[37]，显示盘和各种新型非易失存储介质的特性，包括其读写时间。因此，若采用传统栈，其带来的开销将成为 I/O 路径中的主要开销，图 1.3 显示了在磁盘、基于和 PCM 的固态盘中，在一次 4KB 读写请求中文件系统带来的延迟开销、操统带来的延迟开销和硬件时间开销各自所占的比例[38]。从图 1.3 中可以看出系统和操作系统带来的延迟开销不变的情况下，随着硬件时间开销的减少，系统和操作系统开销所占比例将变大，在基于 PCM 的固态盘中，文件系统和系统所占的开销甚至是实际硬件开销的 2 倍。因此，如果能对 I/O 栈进行适当化，将显著地减少整个 I/O 路径的延迟，这对于数据库系统、联机事务处理系实时性要求比较高的系统具有重要意义。

【参考文献】：
硕士论文
[1]基于闪存的高速PCIe固态存储卡的研究与实现[D]. 欧洋.国防科学技术大学 2012



本文编号：3279670