面向低延迟分布式块存储的用户态通信框架研究

发布时间：2020-12-31 19:19

　　分布式块存储系统在大数据与高性能计算中占据了重要地位。网络与存储技术的快速发展使得分布式块存储系统能够提供极低的访问延迟。当网络与存储设备的延迟达到微秒级时,系统层级设计、内核线程调度与跨态设备访问等软件栈开销成为整体访问开销中不可忽视的一部分。为获得更低的访问延迟与更高的吞吐率,针对低延迟分布式块存储系统提出了一个轻量级远程过程调用（Remote Procedure Call,RPC）框架——uRPC。uRPC基于远程内存直接访问（Remote Direct Memory Access,RDMA）技术进行通信,并采用轮询驱动线程模型避免内核线程调度开销。针对轮询驱动线程模型的特性,提出了基于全局连接池的连接管理方案,实现了连接在CPU核间的负载均衡与公平调度;提出了基于CPU核分区的RDMA内存池方案,降低RDMA内存的分配开销。针对RDMA小数据块传输的限制,提出了消息聚合方案,提高uRPC的吞吐率。面向分布式块存储的数据平面,提出了基于RDMA立即数语义的RPC通信模型优化方案,降低访问延迟并提高吞吐率。测试结果表明,uRPC请求的响应延迟低至5微秒,单服务器的吞吐率能够达到每秒... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 课题背景
    1.2 相关研究概况
    1.3 本文研究的主要内容
    1.4 论文结构
2 低延迟分布式块存储系统分析
    2.1 分布式块存储系统整体架构
    2.2 低延迟的全用户态框架分析
    2.3 用户态通信模型分析
    2.4 本章小结
3 基于轮询驱动线程模型的RPC框架设计
    3.1 线程模型与RPC框架分析
    3.2 uRPC框架整体设计
    3.3 基于全局连接池的连接管理
    3.4 基于CPU核分区的内存管理
    3.5 本章小结
4 基于RDMA特性的传输优化
    4.1 面向小数据请求的消息聚合方案
    4.2 面向分布式存储的数据传输优化
    4.3 本章小结
5 uRPC框架性能评估
    5.1 测试环境
    5.2 基准测试
    5.3 uRPC框架性能测试
    5.4 连接管理方案的多核间负载均衡
    5.5 消息聚合评估
    5.6 uRPC数据传输性能评估
    5.7 本章小结
6 总结及展望
    6.1 全文总结
    6.2 工作展望
致谢
参考文献
附录 攻读硕士学位期间参加的主要科研项目


【参考文献】：
期刊论文
[1]基于RDMA的分布式存储系统研究综述[J]. 陈游旻,陆游游,罗圣美,舒继武.  计算机研究与发展. 2019(02)
[2]基于RDMA高速网络的高性能分布式系统[J]. 魏星达,陈榕,陈海波.  大数据. 2018(04)
[3]面向虚拟机的分布式块存储系统设计及实现[J]. 贾博文,张文军,李小勇.  微型电脑应用. 2015(03)
[4]基于InfiniBand的RPC优化[J]. 明亮,冯丹,王芳,陈碧砚.  计算机工程与科学. 2013(07)
[5]用户态RPC协议分析及其多线程优化[J]. 周俊,王芳,李阳,明亮,万勇.  计算机研究与发展. 2012(S1)

硕士论文
[1]用户态RPC over RDMA优化技术的研究与实现[D]. 杨恒.华中科技大学 2016
[2]基于RDMA跨态通信协议的研究与实现[D]. 李亮.华中科技大学 2016
[3]Ceph分布式文件系统的研究及性能测试[D]. 李翔.西安电子科技大学 2014



本文编号：2950167