基于DPDK的高速网络存储优化技术研究

发布时间：2021-07-05 13:41

　　随着对大数据与人工智能等新型技术领域的研究,使得互联网企业的数据中心服务规模呈现激增的趋势。在当下的高速网络环境下,为网络数据存储和分析带来了新的问题。从数据存储方式角度出发,随着云网络的逐步普及化,使得关系型数据库在处理速率上无法与数据接收速率保持一致,导致程序在执行过程中出现数据丢失现象。从存储配置角度出发,大型数据存储运行前都需要进行大量参数配置,而且采用人工配置或默认配置会使得性能无法适应环境变化,导致数据库无法发挥正常存储水平。本文针对于DPDK（Data Plane Development Kit）环境下高速网络存储优化研究,主要做了以下三个方面的工作:首先,针对基于DPDK下内存数据库存储所存在的速率不一致问题,提出基于管道的多批次并行存储优化方法,在底层DPDK的支撑下实现高速网络数据的缓存操作。该方法实现通过利用接收端扩展技术与数据分发技术实现数据的预处理,将当下单队列单CPU执行转变为多队列多CPU运行。并且综合考虑数据存储过程中,数据接收和数据存储批次大小的差异问题,再将DPDK的突发接收与Redis的Pipeline结合,减少数据存储过程中处理量差异,提升网络数... 

【文章来源】：南京邮电大学江苏省

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

批次处理延迟对比

南京邮电大学专业学位硕士研究生学位论文第三章基于管道的多批次并行数据存储优化31图3.11不同数据包大小下I/O吞吐量性能对比在网络通信中在大规模流量下单个数据包大小会直接影响吞吐量高低，通过图示3.11可以看出Single-Batch在小包下吞吐量相对较低，Smart-Batch由于需要动态进行调节所以需要一定的I/O成本，三者在数据包大小为512bytes后吞吐量差距较小且都保持在10Mpps以上，而Mp-Batch在64bytes和1024bytes都能保持吞吐量9.7Mpps以上，体现出对于Mp-Batch算法进行存储的优越性。图3.12Batch对存储性能影响

南京邮电大学专业学位硕士研究生学位论文第三章基于管道的多批次并行数据存储优化31图3.11不同数据包大小下I/O吞吐量性能对比在网络通信中在大规模流量下单个数据包大小会直接影响吞吐量高低，通过图示3.11可以看出Single-Batch在小包下吞吐量相对较低，Smart-Batch由于需要动态进行调节所以需要一定的I/O成本，三者在数据包大小为512bytes后吞吐量差距较小且都保持在10Mpps以上，而Mp-Batch在64bytes和1024bytes都能保持吞吐量9.7Mpps以上，体现出对于Mp-Batch算法进行存储的优越性。图3.12Batch对存储性能影响

【参考文献】：
期刊论文
[1]基于强化学习的Lustre文件系统的性能调优[J]. 张文韬,汪璐,程耀东.  计算机研究与发展. 2019(07)
[2]基于PF＿RING的高速网络数据捕获方法[J]. 吴克河,王冬冬.  计算机与数字工程. 2019(03)
[3]An SDN/NFV Based Framework for Management and Deployment of Service Based 5G Core Network[J]. Lu Ma,Xiangming Wen,Luhan Wang,Zhaoming Lu,Raymond Knopp.  中国通信. 2018(10)
[4]一种云存储环境下的资源调度改进算法[J]. 徐建鹏,李欣,赵晓凡.  计算机应用研究. 2019(07)
[5]基于OpenStack的云计算网络性能测量与分析[J]. 王小艳,陈兴蜀,王毅桐,葛龙.  山东大学学报(理学版). 2018(01)
[6]基于Zabbix的网络监控系统[J]. 赵哲,谭海波,赵赫,王卫东,李晓风.  计算机技术与发展. 2018(01)

博士论文
[1]非关系型数据存储与管理系统性能优化研究与实现[D]. 鲍先强.国防科学技术大学 2016

硕士论文
[1]基于内存数据库Redis的众包系统性能优化[D]. 李诗云.浙江大学 2016
[2]高可用可扩展集群化Redis设计与实现[D]. 闫明.西安电子科技大学 2014



本文编号：3266174