基于非易失性内存和RDMA的低延迟分布式键值存储系统的设计与实现
发布时间：2021-07-16 15:17
在大型互联网系统中,内存键值存储系统被广泛运用,以提供低延迟、高吞吐率的数据访问,但是内存中的数据在服务器掉电重启后将会丢失。因此诸如Redis等系统会定期将内存中的数据刷到磁盘或固态硬盘中。同时,为了提供容错能力,这些系统会将数据备份到远程服务器的持久性存储设备上。一种典型的备份方式为主备份复制。如此,磁盘（固态硬盘）和网络成为了这些系统的延迟的瓶颈。近年来,非易失性内存和远程直接内存访问技术逐渐被广泛地关注和研究。非易失性内存因其高存储密度、高访问速度以及可直接寻址的优点,被用于直接构建计算机系统的主内存。而远程直接内存访问技术则能够直接读写远程计算机的内存空间而不需要对端计算机处理器的参与,因而可以大大降低系统的延迟。为了克服传统键值存储系统的的性能,延迟瓶颈,本文将研究如何利用远程直接了内存访问技术来构建低延迟的基于非易失性内存的分布式键值存储系统。在本文所开发的系统中,非易失性内存不仅降低了请求延迟,同时使得同步的（快速）主备份复制成为可能。对于一个插入数据的操作,产生的所有对非易失性内存的修改都被系统收集和记录下来。这些修改将在主备份复制的时候,通过远程直接内存写入操作,从...
【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
–1NVDS系统架构
轮询线程发送，将极大限制服务器节点的吞吐量以及单个请求的延迟。而由工作线程发送回复，则可以最大化服务器节点的并行执行能力，提高性能，降低延迟。图3–3展示了轮询线程和工作线程的工作原理：— 18 —
郊?荡娲⑾低车纳杓朴胧迪稚虾＝煌ù笱?妒垦?宦畚?4.2.2 实验分析图4–1给出了基于 RC 的 RDMA 写和基于 UD 的 RDMA 发送的延迟信息。因为 UD并不向发送端发送一个 ACK 标志，因此我们设计了服务器端接收到客户端的消息后立即返回此消息，并以客户端从发送到接收到回复消息的总时间的一般作为端到端的通信延迟。该图表明基于 UD 的 RDMA 发送总比上比基于 RC 的 RDMA 写的延迟要高大约0.4微秒。但是，当在一个具有成百上千服务器节点的集群中进行实验，基于 RC 的RDMA 写的延迟则显著增加，而 RDMA 发送的延迟则没有明显的变化。为了模拟大规模集群导致的面向连接的队列二元组的状态缓存问题，我们在客户端和服务器端分别分配了成百上千的队列二元组，并两两相连。对于 RDMA 写，同一时刻
本文编号：3287258
【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
–1NVDS系统架构
轮询线程发送，将极大限制服务器节点的吞吐量以及单个请求的延迟。而由工作线程发送回复，则可以最大化服务器节点的并行执行能力，提高性能，降低延迟。图3–3展示了轮询线程和工作线程的工作原理：— 18 —
郊?荡娲⑾低车纳杓朴胧迪稚虾＝煌ù笱?妒垦?宦畚?4.2.2 实验分析图4–1给出了基于 RC 的 RDMA 写和基于 UD 的 RDMA 发送的延迟信息。因为 UD并不向发送端发送一个 ACK 标志，因此我们设计了服务器端接收到客户端的消息后立即返回此消息，并以客户端从发送到接收到回复消息的总时间的一般作为端到端的通信延迟。该图表明基于 UD 的 RDMA 发送总比上比基于 RC 的 RDMA 写的延迟要高大约0.4微秒。但是，当在一个具有成百上千服务器节点的集群中进行实验，基于 RC 的RDMA 写的延迟则显著增加，而 RDMA 发送的延迟则没有明显的变化。为了模拟大规模集群导致的面向连接的队列二元组的状态缓存问题，我们在客户端和服务器端分别分配了成百上千的队列二元组，并两两相连。对于 RDMA 写，同一时刻
本文编号：3287258
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3287258.html
