面向NVMe和RDMA的分布式存储系统研究与实现

发布时间：2020-08-23 15:18

【摘要】：近十年中,随着新型存储和高速网络技术的飞速发展,硬件技术取得了显著的进步,进而使得设备的访问延迟也明显地降低。在存储方面,新型非易失性存储协议(NVMe)的浮现,使得固态盘的存取时延可低至十微秒,带宽可高达五十五万IOPS,并且,面向数据中心的非易失性内存系列产品性能已经可以与DRAM相媲美,例如,英特尔?傲腾?技术。在网络方面,传统高性能领域所采用的高速远程内存直接访问(RDMA)技术,逐渐开始在数据中心普及,这也使不同节点间一次数据传输的往返时延可以小于五微秒。因此,对于大规模数据处理应用来说,传统的软件技术已经很难适应于新型硬件,已经成为新的性能瓶颈。针对这些问题,本文展开了一系列研究和讨论,设计实现了一个面向新型硬件的、极低时延的、支持混合多种负载的分布式存储原型系统,PlutoX。在这个原型系统中,本文提出了一整套面向新型硬件的、定制化的分布式存储技术,并且,通过大量的实验,从多个角度评估了原型系统的整体性能。本文的主要贡献,如下:(1)提出了一种面向新型硬件的、定制化的分布式系统框架。系统内部应该具有更高的内部相关性,没有功能重叠,采用轻量级用户空间的I/O软件堆栈,进一步释放了新型高速硬件的潜在性能。(2)提出了一个面向关系表的编程接口,上层执行引擎可以像关系型数据库中一样的方式进行数据操作,以至于上层执行引擎可以快速实现不同的查询优化器,从而进一步支持OLTP、OLAP和HTAP多种混合工作负载。(3)提出了一种专用的I/O队列策略。考虑到NVMe协议的多队列特性,本文提出了一种用于隔离读写请求的专用队列,进一步改善了读写请求的响应延迟。与此同时,PlutoX原型系统也减少了I/O路径上的内存拷贝,既提高了内存的使用效率,又降低了不必要的拷贝开销。(4)实现了一种混合的数据传输策略。在存储原型系统中,基于两种不同的RDMA通信模型,本文逐步地分析了多种不同组合方式下数据传输的开销。鉴于不同模块的需求,PlutoX系统分别采用不同的数据传输方式,这种混合的方式提高了分布式系统内部数据传输效率。综上所述,这两种新型硬件技术不仅提高硬件性能,也推动了软件技术的变革。本文研究了基于NVMe和RDMA的分布式存储系统存在的问题,设计一整套面向新硬件的、定制化的存储技术,并实现了一个可工作的原型系统,PlutoX,与主流的分布式存储系统进行了对比。
【学位授予单位】：华东师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333

【相似文献】