面向异构内存池的RDMA传输优化机制

发布时间：2020-05-13 01:36

【摘要】：随着大数据应用对内存的需求越来越大,分布式内存共享技术可以有效地解决单机内存扩展性不足的问题。新型非易失性存储器具有字节可寻址、无待机功耗、存储密度大、可扩展性强等特征,为大规模分布式内存共享系统提供了新的机遇。然而,相比于传统DRAM设备,新型非易失性存储器仍然存在一些缺陷,如读写时延长、写功耗大、写次数有限等,因此,构建新型的分布式异构内存共享系统还需要克服非易失性存储器在读写时延不对称、写寿命有限等一系列挑战性问题。面向异构内存池的RDMA传输优化系统(DHMP)允许应用程序通过客户端/服务器架构访问全局内存空间中的DRAM与NVM资源。为了高效地进行远程NVM数据访问,DHMP系统提出了基于数据热度的DRAM缓存机制,该机制将非易失性内存中频繁访问的数据缓存在动态随机访问存储器中。针对由RDMA读写操作导致服务器无法感知数据热度的问题,DHMP系统通过客户端与服务器协作的方式,经由客户端识别远端数据的访问频度,定期将数据热度信息告知服务器,由服务器进行数据的缓存操作。此外,在RDMA通信过程中,DHMP系统通过RDMA传输优化机制优化小粒度对象的远程数据访问,改善系统性能。实验数据表明,相比于Octopus系统,基于DHMP构建的文件系统在远程读写方面的性能提升了86.5%。相比于不采用策略的异构内存池系统,DHMP在服务器内存不同压力情况下均表现出很大的优势,远程读写性能平均提升40.4%。此外,DHMP系统通过DRAM缓存优化技术减少对非易失存储器的写次数提高系统寿命。
【图文】：

图4.1 DHMP服务器空闲DRAM资源充足且对象访问为均匀分布的性能测试如图4.1所示，在DHMP服务器空闲DRAM资源充足且对象访问模型为均匀访情况下，DHMP-RDMA（仅采用RDMA传输优化机制的DHMP系统）在所有微基试中实现了9.8％-50.4％的性能提升，随着对象粒度的增大，RDMA传输优化机来的性能收益呈现下降的趋势，因为内存拷贝的开销随着对象粒度的增大而增MP系统在所有微基准测试中实现了27.3%-77.7%的性能提升。

图4.1 DHMP服务器空闲DRAM资源充足且对象访问为均匀分布的性能测试如图4.1所示，，在DHMP服务器空闲DRAM资源充足且对象访问模型为均匀访情况下，DHMP-RDMA（仅采用RDMA传输优化机制的DHMP系统）在所有微基试中实现了9.8％-50.4％的性能提升，随着对象粒度的增大，RDMA传输优化机来的性能收益呈现下降的趋势，因为内存拷贝的开销随着对象粒度的增大而增MP系统在所有微基准测试中实现了27.3%-77.7%的性能提升。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 翟继强;肖亚军;杨海陆;王健;;基于内存池标记快速扫描技术的Windows内核驱动对象扫描[J];西北工业大学学报;2019年05期

2 刘恒;杨小帆;;供动态无锁数据结构使用的资源窃取型无锁内存池[J];计算机应用研究;2012年10期

3 刘晓华;;基于C++的内存池的实现[J];福建电脑;2008年01期

4 安景新;赵昶宇;;VxWorks系统中内存池的应用[J];科技与创新;2018年19期

5 黄睿;苏阳;赵英潇;张月;;PCIe高速数据记录方案设计与软件实现[J];电子科技;2018年07期

6 郭丙轩;张京莉;张志超;;基于内存池的空间数据调度算法[J];计算机工程;2008年06期

7 段宗曜;;应用内存池Socket池构建高性能的IOCP服务器[J];中国新通信;2019年12期

8 崔伟民;;高性能可复用网络服务器的设计和实现[J];通信技术;2007年10期

9 鄢涛;于曦;刘永红;赵卫东;余悦;曾谊;;基于C++的高效内存池的设计与实现[J];成都大学学报(自然科学版);2017年03期

10 屠雪真;;一种优化的内核态文件发送方法[J];计算机与现代化;2019年05期

相关重要报纸文章 前1条

1 佚名;企业数据策略的关键[N];中国信息化周报;2019年

相关硕士学位论文 前10条

1 张鑫;面向异构内存池的RDMA传输优化机制[D];华中科技大学;2019年

2 田娜;基于Linux的高性能并行代理系统关键技术研究[D];哈尔滨工程大学;2014年

3 王加乐;内存数据库存储管理设计与实现[D];复旦大学;2013年

4 郭波;内存数据库存储管理研究[D];华中科技大学;2012年

5 郁晨;一种高性能网络爬虫系统关键技术研究[D];哈尔滨工程大学;2017年

6 田野;基于数字地形模型的3D地形数据显示系统的设计与实现[D];哈尔滨工业大学;2008年

7 张荣荣;3G统一平台的内存管理研究[D];西安电子科技大学;2008年

8 仲伟炜;专利文献分类及关联推荐技术应用研究[D];南京航空航天大学;2009年

9 王庆;面向新型非易失性存储器的内存管理系统设计与实现[D];电子科技大学;2016年

10 于俊喜;网络服务器中间件的研究[D];河北联合大学;2014年

本文编号：2661161