高性能网络虚拟化环境下的NUMA调度优化

发布时间：2020-03-18 13:40

【摘要】：现如今,由于虚拟化技术的高度资源整合性以及隔离性,虚拟化技术已经成为了云计算的关键技术之一。通过虚拟化技术,一台物理机能够运行多台虚拟机,而每台虚拟机都拥有自己独立的资源,如虚拟处理器,虚拟内存以及I/O设备。而随着网络虚拟化(Network Function Virtualization)技术的发展与应用,虚拟机被期望于执行越来越多的网络密集型的任务,如网络数据包的处理与转发等。因此,提升虚拟机在高性能网络虚拟化环境下的性能也变得越来越重要。与此同时,非一致性内存访问(Non-Uniform Memory Access)架构由于其良好的可扩展性,已经成为了现代服务器的主流架构。在NUMA系统下,每个处理器可以访问整个系统的内存。然而,与处理器访问自己所在NUMA节点的内存相比,处理器访问其他NUMA节点的内存所需要的开销会更大,这便是经典的NUMA内存亲和度问题。NUMA架构给虚拟机的性能优化带来了明显的挑战,这是因为,对于虚拟机来说,其所在的宿主机的物理拓扑结构通常是透明的。而以往的大量研究工作也正是关注于优化虚拟机在NUMA系统下的内存亲和度。然而,随着以太网卡速率的不断提升,内存亲和度不再是NUMA系统下影响性能的唯一因素。这是因为,在NUMA架构下,以太网卡等I/O设备通常只与一个NUMA节点连接,而只有当虚拟机处于网卡所在的NUMA节点时,虚拟机与网络的亲和度才是最优的。在过去,内存的性能通常比以太网卡高出多个数量级。然而,随着40G以太网卡的普及,以及100G以太网卡的商用,以太网卡与内存之间的性能鸿沟几乎被填平了,也使网卡亲和度成为了NUMA系统下,影响性能的不可忽略的因素。为了解决这些问题,本文通过研究高性能网络虚拟化环境下,NUMA系统的内存与网卡资源亲和度来优化虚拟机的性能。本文首先深入分析了在高性能网络虚拟化环境的NUMA系统下,虚拟处理器与内存的亲和度,虚拟机与网卡的亲和度对虚拟机性能的影响。接着,本文创新性地将虚拟机与网卡的资源亲和度分解为网卡与虚拟机处理器的亲和度,网卡与虚拟机内存的亲和度。然后通过分别量化和建模虚拟机处理器与内存的亲和度,网卡与虚拟机处理器的亲和度,网卡与虚拟机内存的亲和度,本文提出了资源亲和度性能预估模型RAIE。RAIE通过结合系统的全局硬件资源亲和度以及虚拟机的实时行为特征来预测虚拟机的性能。实验证明,RAIE能够达到较高的性能预测准确度:在平均情况下,RAIE能达到93%的性能预测准确度。而基于模型RAIE,我们在KVM平台上设计并实现了一个虚拟机调度器:RAIESched。RAIESched会在运行时动态收集虚拟机的信息并基于模型RAIE做调度决策。针对RAIESched的实验表明,相比于KVM默认的虚拟机调度器,对于现实的应用程序,RAIESched能够提升高达36%的性能。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP302

【相似文献】

相关期刊论文 前10条

1 陈佳昕;;虚拟机隐藏进程检测系统设计与实现[J];现代计算机(专业版);2019年01期

2 尹学渊;陈兴蜀;陶术松;陈林;;一种无代理虚拟机进程监控方法[J];南京大学学报(自然科学);2019年02期

3 郭建伟;;灵活管理虚拟机[J];网络安全和信息化;2019年05期

4 关长杰;;巧用虚拟机维护多媒体教室计算机之我见[J];信息记录材料;2019年04期

5 王瑞宗;;浅析云计算虚拟机部署方案[J];电子世界;2019年15期

6 甘娜;;一种基于服务次数的云虚拟机资源部署算法[J];中国新通信;2017年23期

7 石岳;王春海;;快速克隆千台虚拟机[J];网络安全和信息化;2017年06期

8 顾武雄;;创建虚拟机与远程管理[J];网络安全和信息化;2017年05期

9 顾武雄;;虚拟机复制管理[J];网络安全和信息化;2018年06期

10 赵艳;王春海;;虚拟机“句柄无效”无法开机[J];网络安全和信息化;2018年09期

相关会议论文 前10条

1 陆彦琦;伍华凤;高毅;;云计算环境下虚拟机安全性分析与研究[A];中国造船工程学会电子技术学术委员会2017年装备技术发展论坛论文集[C];2017年

2 段翼真;王晓程;;可信安全虚拟机平台的研究[A];第26次全国计算机安全学术交流会论文集[C];2011年

3 沈敏虎;查德平;刘百祥;赵泽宇;;虚拟机网络部署与管理研究[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

4 陈援非;朱珍民;叶剑;;一种基于多量级虚拟机的可扩展普适计算架构[A];第四届和谐人机环境联合学术会议论文集[C];2008年

5 张健;高铖;宫良一;顾兆军;;虚拟机自省技术研究[A];第32次全国计算机安全学术交流会论文集[C];2017年

6 邓小林;;虚拟机系统资源动态分配策略[A];浙江省信号处理学会2013学术年会论文集——信号处理在海洋[C];2013年

7 丁涛;郝沁汾;张冰;;内核虚拟机调度策略的研究与分析[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

8 管庆华;叶力旋;刘凯;明月;;一种基于资源池分布式部署虚拟机的方法[A];2010电力行业信息化年会优秀论文专辑[C];2010年

9 ;瑞星研制出全球最快反病毒虚拟机[A];2010电力行业信息化年会优秀论文专辑[C];2010年

10 陈乃刚;李健;李龙;;云计算数据中心的网络带宽保证方案[A];2016电力行业信息化年会论文集[C];2016年

相关重要报纸文章 前10条

1 本报记者 冯霄霞;容器引领云计算2.0时代[N];中国信息化周报;2016年

2 南方日报驻京记者 王腾腾;网络空间安全攻防战[N];南方日报;2017年

3 冯志鹏 黄文雯 胡宇;引领架构提升 打造“云”上服务[N];国家电网报;2017年

4 刘荻 编译;虚拟机真比容器安全吗？[N];中国计算机报;2017年

5 邹铮 编译;云计算充满“僵尸”虚拟机?没什么大不了![N];网络世界;2015年

6 ;首批通过云计算产品虚拟机管理测评名单[N];中国电子报;2014年

7 本报记者 邱燕娜;如何告别虚拟机管理烦恼[N];中国计算机报;2012年

8 本报记者 李旭阳;Azul“抢滩”国内Java虚拟机市场[N];计算机世界;2012年

9 《网络世界》记者 周源;3:0!Power虚拟机完胜x86虚拟机[N];网络世界;2012年

10 本报记者 邹大斌;VMware推出新虚拟机管理工具[N];计算机世界;2011年

相关博士学位论文 前10条

1 张涵翠;云平台中面向虚拟机的自适应异常检测关键技术研究[D];重庆大学;2018年

2 魏亮;面向云网融合的资源调度算法及实验平台研究[D];北京邮电大学;2018年

3 张鑫彦;数据中心虚拟机放置方法的研究[D];大连理工大学;2018年

4 张留美;面向绿色云计算的虚拟机评估研究[D];西安电子科技大学;2016年

5 徐骁麟;面向多虚拟机应用的基础设施云服务性能优化机制研究[D];华中科技大学;2016年

6 丁有伟;云环境下能量高效的任务调度方法研究与应用[D];南京航空航天大学;2016年

7 胡荣东;面向能效的云计算虚拟化资源提供方法研究[D];国防科学技术大学;2015年

8 叶枫;QoS-Aware的云服务可信增强机制的研究[D];南京航空航天大学;2016年

9 郭芬;面向虚拟机的云平台资源部署与调度研究[D];华南理工大学;2015年

10 刘海坤;虚拟机在线迁移性能优化关键技术研究[D];华中科技大学;2012年

相关硕士学位论文 前10条

1 胡南;一种基于虚拟服务器的小区云网络设计与实现[D];电子科技大学;2019年

2 雷美炼;大规模网络系统的可靠性建模的若干问题的研究与仿真[D];电子科技大学;2019年

3 任丽媛;基于遗传算法的虚拟机整合策略[D];长安大学;2019年

4 黄科;基于微服务的虚拟机自动化编排系统的设计与实现[D];电子科技大学;2019年

5 刘静;基于FORTH虚拟机的操作系统多任务动态管理研究[D];云南大学;2018年

6 王蕾;基于FORTH虚拟机的实时多任务调度研究[D];云南大学;2018年

7 乔淑敏;基于资源需求特征的应用分类及虚拟机放置策略[D];云南大学;2018年

8 梅东晖;云数据中心虚拟机负载均衡部署问题研究[D];云南大学;2018年

9 杨媛;基于多目标优化的虚拟机资源调度问题研究[D];长安大学;2019年

10 张琛;云计算中基于预拷贝的虚拟机动态内存迁移研究[D];重庆邮电大学;2018年

，

本文编号：2588794