虚拟机在线迁移性能优化方法研究

发布时间：2020-11-19 20:16

　　 作为虚拟化技术所提供的一项重要特性,虚拟机在线迁移是数据中心和集群系统的管理中不可或缺的一项重要工具,并被广泛应用于负载均衡、能耗管理、系统在线维护等诸多应用场景。由于其所发挥的重要作用,虚拟机在线迁移技术持续受到了学术界和工业界的广泛关注。随着云计算环境下对系统资源动态调度的要求日益提升,以及数据中心内部管理的精细化程度越来越高,虚拟机迁移操作也日趋频繁。此外当前虚拟机的资源配置日益增大,且其内部可能运行对迁移并不友好的内存写密集型负载。这些趋势都对迁移系统的设计提出了更高要求。针对这些问题,对进一步提升虚拟机迁移性能,比如缩短迁移时间、减少数据传输量以及减轻迁移过程对应用性能的影响等,进行了深入研究,并从如何对虚拟机内存数据进行迁移以及如何对迁移数据进行压缩两个角度展开工作,提出相应方法。提出适用于虚拟机迁移的带宽感知的数据压缩方法(Bandwidth-Aware Compression,简称BAC)以缩短虚拟机迁移时间。为减少迁移期间的数据传输量并缩短迁移时间,虚拟机迁移中广泛使用了数据压缩技术。通过实验发现,不同的数据压缩方法为迁移带来的性能提升是不相同的,且迁移带宽会影响该性能提升。因此BAC实时监控迁移所使用的网络带宽,并以此来动态选择适合的压缩方法对虚拟机内存数据进行压缩。通过对运行多种负载的虚拟机内存数据压缩效果进行分析,发现了在迁移过程中选择较优的压缩方法时不同负载所呈现的共性,并由此设计了可供不同负载所使用的压缩策略表。此外,由于数据压缩算法的压缩窗口通常远大于单个内存页的大小,BAC进一步采用了多页合并压缩的优化方法,以充分挖掘数据压缩为迁移带来的性能收益。实验结果表明,同传统的采用固定的数据压缩方法来加速虚拟机迁移的方案相比,BAC显著地缩短了虚拟机迁移时间,且同时在数据传输量和停机时间两项指标上也具有较好的性能。提出基于内存页分频传输的虚拟机快速迁移方法(Multi-Frequency Memory Transferring,简称MFMT)以减少迁移期间的数据传输量并缩短迁移时间。为了实现较短的停机时间,预拷贝迁移算法需要对虚拟机内存脏页进行多轮迭代传输。通过实验观察到,不同内存页的写脏频率是不相同的,且可能差异较大。因此传统预拷贝算法不加区分地对所有内存脏页进行重复传输的方法并非最佳,因为其通常会反复多次传输写脏频率较高的内存页,不仅消耗了大量的网络资源,而且可能影响迁移的顺利完成。针对该问题,MFMT周期性地获取虚拟机内存页的写脏频率信息,并依据写脏频率的不同对内存页进行分类。在虚拟机迁移过程中,对于不同类别的内存页,MFMT采用不同的传输频率进行迁移,并将写脏频率超出一定阈值的内存页直接放入停机—拷贝阶段传输,从而实现对迁移过程的加速。实验结果表明,MFMT虽然少量增加了虚拟机迁移的停机时间,但是显著地减少了迁移数据量并缩短了迁移时间。此外MFMT还可以结合BAC一同使用,两者优化效果的叠加可以进一步提升虚拟机迁移性能。提出面向内存写密集型负载的假脏页判定及混合拷贝迁移方法以解决此类负载由于写脏内存较快而难以迁移的问题。通过对虚拟机内存脏页的详细分析获得了一项重要观察:在迁移过程中有一定数量的假脏页产生,且在所分析的8种内存写密集型负载中,有4种负载的假脏页比例很高,占迁移期间脏页总量的50%以上。与在之前迭代中已经传输到目的端的对应页面拷贝相比,此类假脏页的数据内容没有发生任何改变,因此其重复传输既没有必要,又浪费了大量网络资源。在详细探究了假脏页产生的根本原因后,提出利用计算和比对安全哈希值的方法以避免其重复传输,并分析了哈希冲突概率以确保该方法的安全性。此外,为了保证所有负载都能够成功完成迁移,进一步将安全哈希方法同所设计的混合拷贝迁移方法进行结合。该混合拷贝迁移方法采用了启发式思想,可以在一个近似最优的时刻从预拷贝阶段切换进入后拷贝阶段,从而既不会浪费网络资源进行过多无用的预拷贝迭代,又可以尽量缩短后拷贝阶段的持续时间,以减轻后拷贝算法的固有缺陷给迁移带来的负面影响。实验结果表明,所提出的综合迁移方法有效解决了迁移内存写密集型负载所面临的问题,显著提升了其迁移性能。此外该方法还可以同BAC进行结合,两者优化效果的叠加可以为内存写密集型负载带来更多的迁移性能提升。
【学位单位】：华中科技大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP302
【文章目录】：
摘要
Abstract
1 绪论
    1.1 背景介绍
    1.2 国内外研究现状
    1.3 本文的研究内容和组织结构
2 适用于虚拟机迁移的带宽感知的数据压缩方法
    2.1 不同迁移网络带宽下数据压缩方法的选择
    2.2 运行不同负载的虚拟机内存数据压缩效果分析
    2.3 带宽感知的数据压缩方法
    2.4 性能评测
    2.5 本章小结
3 基于内存页分频传输的虚拟机快速迁移方法
    3.1 虚拟机内存页写脏频率分析及其对迁移的影响
    3.2 基于内存页分频传输的虚拟机迁移方法
    3.3 性能评测
    3.4 本章小结
4 面向内存写密集型负载的假脏页判定及混合拷贝迁移方法
    4.1 迁移内存写密集型负载所面临的挑战
    4.2 假脏页的发现及其产生原因的探究
    4.3 面向内存写密集型负载的综合迁移方案
    4.4 性能评测
    4.5 本章小结
5 全文总结与展望
    5.1 主要成果
    5.2 研究展望
致谢
参考文献
附录1 攻读博士学位期间发表的学术论文
附录2 攻读博士学位期间申请的发明专利和软件著作权
附录3 攻读博士学位期间参与的科研项目

【相似文献】

相关期刊论文 前10条

1 任群;;基于虚拟机迁移的高校网络优化模型设计研究[J];湖北师范大学学报(自然科学版);2019年04期

2 侯婕;薛亮;王阳;;基于可信链的虚拟机可信迁移方法[J];指挥控制与仿真;2019年06期

3 闫健恩;张宏莉;许海燕;;基于负载优化的虚拟机放置方法[J];智能计算机与应用;2019年06期

4 陈佳昕;;虚拟机隐藏进程检测系统设计与实现[J];现代计算机(专业版);2019年01期

5 尹学渊;陈兴蜀;陶术松;陈林;;一种无代理虚拟机进程监控方法[J];南京大学学报(自然科学);2019年02期

6 郭建伟;;灵活管理虚拟机[J];网络安全和信息化;2019年05期

7 关长杰;;巧用虚拟机维护多媒体教室计算机之我见[J];信息记录材料;2019年04期

8 王瑞宗;;浅析云计算虚拟机部署方案[J];电子世界;2019年15期

9 甘娜;;一种基于服务次数的云虚拟机资源部署算法[J];中国新通信;2017年23期

10 石岳;王春海;;快速克隆千台虚拟机[J];网络安全和信息化;2017年06期

相关博士学位论文 前10条

1 施江勇;云数据中心安全监控技术研究[D];国防科技大学;2018年

2 李春光;虚拟机在线迁移性能优化方法研究[D];华中科技大学;2019年

3 张涵翠;云平台中面向虚拟机的自适应异常检测关键技术研究[D];重庆大学;2018年

4 魏亮;面向云网融合的资源调度算法及实验平台研究[D];北京邮电大学;2018年

5 张鑫彦;数据中心虚拟机放置方法的研究[D];大连理工大学;2018年

6 张留美;面向绿色云计算的虚拟机评估研究[D];西安电子科技大学;2016年

7 徐骁麟;面向多虚拟机应用的基础设施云服务性能优化机制研究[D];华中科技大学;2016年

8 丁有伟;云环境下能量高效的任务调度方法研究与应用[D];南京航空航天大学;2016年

9 胡荣东;面向能效的云计算虚拟化资源提供方法研究[D];国防科学技术大学;2015年

10 叶枫;QoS-Aware的云服务可信增强机制的研究[D];南京航空航天大学;2016年

相关硕士学位论文 前10条

1 匡明;基于虚拟机迁移的虚拟网抗毁技术研究[D];重庆邮电大学;2019年

2 廉震;面向网络优化的云系统虚拟机调度机制研究[D];南京航空航天大学;2019年

3 周乔;面向独立虚拟器件的简化虚拟化架构的研究[D];国防科技大学;2018年

4 刘凤;兼顾云平台能耗和虚拟机性能的虚拟机部署方法研究[D];西安电子科技大学;2019年

5 叶春苹;云数据中心节能虚拟机迁移算法[D];西安电子科技大学;2019年

6 周凡卉;多约束多目标下的虚拟机管理调度研究[D];西安电子科技大学;2019年

7 左宗文;云计算环境下的任务调度和虚拟机整合研究[D];南京邮电大学;2019年

8 向克进;面向动态资源需求的SaaS服务部署优化研究[D];西安电子科技大学;2019年

9 宋超建;云平台负载均衡能力研究与测评[D];西安电子科技大学;2019年

10 曹昊;云数据中心网络的虚拟机动态迁移算法研究[D];西安电子科技大学;2019年

本文编号：2890390