网络感知的虚拟机部署与整合技术研究及实现

发布时间：2017-07-07 21:26

  本文关键词：网络感知的虚拟机部署与整合技术研究及实现

  更多相关文章： 云计算 数据中心 网络感知 流量感知 虚拟机部署 虚拟机整合

【摘要】：云计算的出现与发展正在改变人们使用计算资源的方式,借助于“云”,用户不再需要自己购买和维护硬件设备,而是通过向“云”提供商租用计算资源的方式,去执行其任务。基础设施云(IAAS)是云计算中的一大类型,它以向用户出租虚拟机的方式提供服务。虚拟机在逻辑上是独立的,用户可以在虚拟机上安装自己的操作系统及软件,就像是使用自己的电脑一样。越来越多的用户将计算放入“云”中,使得数据中心的规模不断扩大,数据中心中的虚拟机数量也不断增加。数据中心的管理者需要一个好的策略将这些虚拟机映射到物理机上,即虚拟机的部署。不同的虚拟机部署策略有着不同的目标,例如目标是提高数据中心的资源利用率或降低运行时能耗等。现有的虚拟机部署算法集中在考虑虚拟机在CPU、内存方面的需求,通过合理部署虚拟机,以期最小化计算、存储等代价。然而,Map-Reduce等分布式计算架构的流行,使得“云’中的分布式计算任务的比例正在增加。部署分布式计算的任务,意味着承载任务的各个虚拟机之间存在大量的网络通信,而它们之间的网络通信能力又影响着整个任务的性能。因此,对于这类任务,在虚拟机部署时,不仅要考虑每个虚拟机的CPU、内存需求,也要考虑虚拟机之间的网络通信需求。文本针对分布式计算模式下的虚拟机部署问题,深入研究了基于网络感知的虚拟机部署策略,提出了流量感知的最矮子树虚拟机部署算法和流量感知的虚拟机聚类算法。算法在兼顾虚拟机通信性能和数据中心网络通信整体性能条件下,进行虚拟机的部署,使得有高网络通信需求的虚拟机组能够获得较高的带宽。对于已知虚拟机之间的网络通信矩阵并且无法在流量感知的最矮子树算法下取得最佳网络部署效果的虚拟机组,我们首先对虚拟机按其相互间的通信流量进行聚类,然后聚类后的分组部署到物理机上。而在线的虚拟机部署策略由于虚拟机退出所造成的资源碎片会使得算法性能受到影响,即虚拟机组的网络通信能力下降。因此,本文又研究了面向网络感知的虚拟机整合问题,提出了面向机架的虚拟机整体聚集和面向机架的虚拟机贪心聚集两种策略,通过尽可能低代价的虚拟机迁移来提高虚拟机之间的网络通信能力,以提升部署在虚拟机组上的任务的执行效率。本文在一个由20台机器组成的模拟数据中心中,搭建了一个云平台原型系统,并将本文提出的流量感知的虚拟机部署算法和网络感知的虚拟机整合算法应用于其中。通过模拟实验,验证了流量感知的虚拟机部署算法能够使得任务的部署处于较优的网络状态,并且使得交换机的流量分布更为均衡；流量感知的虚拟机聚类算法使得虚拟机之间的跨机架通信流量进一步降低。通过在云平台原型系统上进行仿真实验,验证了网络感知的虚拟机整合算法能够缩短大数据处理任务的完成时间、降低Web应用的访问时延。通过真实的数据集进行大规模的模拟实验,本文对比了在多种虚拟机部署算法下,应用网络感知的虚拟机整合算法前后虚拟机的网络通信状态,验证了算法能够以较小的代价使得高网络通信代价的任务数量明显减少,虚拟机组的网络通信能力显著提高。
【关键词】：云计算 数据中心 网络感知 流量感知 虚拟机部署 虚拟机整合
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP302
【目录】：

• 摘要4-6
• Abstract6-13
• 第一章 绪论13-16
• 1.1 研究背景13-14
• 1.2 本文工作14-16
• 第二章 虚拟机部署与整合问题概述16-27
• 2.1 云计算概述16-20
• 2.1.1 云计算基本概念16-19
• 2.1.2 计算中的典型应用19-20
• 2.2 数据中心概述20-22
• 2.2.1 数据中心特点21
• 2.2.2 数据中心网络结构21-22
• 2.3 数据中心中的虚拟机部署与整合问题22-26
• 2.3.1 虚拟机部署与整合问题概述22-23
• 2.3.2 国内外研究现状23-26
• 2.4 本章小结26-27
• 第三章 网络感知的虚拟机部署27-39
• 3.1 网络感知的虚拟机部署问题场景分析27-28
• 3.1.1 Web应用场景27-28
• 3.1.2 大数据处理场景28
• 3.2 网络感知的虚拟机部署问题形式化定义及分析28-31
• 3.3 网络感知的虚拟机部署算法设计31-34
• 3.3.1 流量感知的最矮生成子树算法31-33
• 3.3.2 流量感知的虚拟机聚类算法33-34
• 3.4 实验与分析34-37
• 3.5 本章小结37-39
• 第四章 网络感知的虚拟机整合39-56
• 4.1 网络感知的虚拟机整合问题分析39-42
• 4.1.1 虚拟机部署的状态变化39-41
• 4.1.2 动态迁移对虚拟机性能的影响41-42
• 4.2 网络感知的虚拟机整合问题形式化定义及分析42-46
• 4.2.1 网络流量建模42-43
• 4.2.2 网络收益的评价标准43-44
• 4.2.3 虚拟机整合的触发44-46
• 4.2.4 形式化定义及复杂度分析46
• 4.3 网络感知的虚拟机整合算法设计46-48
• 4.3.1 基于贪心策略的虚拟机整合顺序选择46-47
• 4.3.2 面向机架的虚拟机整体聚集47
• 4.3.3 面向机架的虚拟机贪心聚集47
• 4.3.4 网络感知的虚拟机整合算法47-48
• 4.4 实验与分析48-55
• 4.4.1 仿真实验结果及对比49-52
• 4.4.2 模拟实验结果及对比52-55
• 4.5 本章小结55-56
• 第五章 云平台原型设计与实现56-66
• 5.1 平台概述56-57
• 5.1.1 基本概念56-57
• 5.1.2 发展现状57
• 5.2 整体设计57-59
• 5.3 功能模块设计59-63
• 5.3.1 资源监控模块设计59-60
• 5.3.2 虚拟机调度模块设计60-61
• 5.3.3 虚拟机整合模块设计61
• 5.3.4 通信与鉴权模块设计61-62
• 5.3.5 弹性计算模块设计62-63
• 5.4 数据库设计63-64
• 5.5 云平台的部署与测试64
• 5.6 本章小结64-66
• 第六章 总结与展望66-68
• 6.1 总结66
• 6.2 展望66-68
• 参考文献68-72
• 简历与科研成果72-73
• 致谢73-74

【相似文献】

中国期刊全文数据库 前10条

1 曹晓刚;;Java虚拟机的10年[J];程序员;2005年07期

2 宋韬;盘细平;罗元柯;倪国军;;Java虚拟机在嵌入式DSP系统上的实现[J];计算机应用与软件;2007年04期

3 刘黎波;;Java虚拟机拦截原理研究[J];科技风;2008年21期

4 刘治波;;Java虚拟机简析[J];济南职业学院学报;2008年01期

5 郝帅;;Java虚拟机中相关技术的探讨[J];成功(教育);2008年08期

6 李霞;;系统虚拟机关键技术研究[J];微型电脑应用;2010年03期

7 郑晓珑;孔挺;;虚拟机的安全风险与管理[J];硅谷;2010年16期

8 李学昌;平淡;;为速度而战,虚拟机内外兼修[J];电脑爱好者;2010年18期

9 王惠萍;张海龙;冯帆;王建华;;Java虚拟机使用及优化[J];计算机与网络;2010年21期

10 郑婷婷;武延军;贺也平;;云计算环境下的虚拟机快速克隆技术[J];计算机工程与应用;2011年13期

中国重要会议论文全文数据库 前10条

1 孟广平;;虚拟机漂移网络连接方法探讨[A];中国计量协会冶金分会2011年会论文集[C];2011年

2 段翼真;王晓程;;可信安全虚拟机平台的研究[A];第26次全国计算机安全学术交流会论文集[C];2011年

3 李明宇;张倩;吕品;;网络流量感知的虚拟机高可用动态部署研究[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

4 林红;;Java虚拟机面向数字媒体的应用研究[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

5 杨旭;彭一明;刑承杰;李若淼;;基于VMware vSphere 5虚拟机的备份系统实现[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

6 沈敏虎;查德平;刘百祥;赵泽宇;;虚拟机网络部署与管理研究[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

7 李英壮;廖培腾;孙梦;李先毅;;基于云计算的数据中心虚拟机管理平台的设计[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

8 朱欣焰;苏科华;毛继国;龚健雅;;GIS符号虚拟机及实现方法研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

9 于洋;陈晓东;俞承芳;李旦;;基于FPGA平台的虚拟机建模与仿真[A];2007'仪表，，自动化及先进集成技术大会论文集（一）[C];2007年

10 丁涛;郝沁汾;张冰;;内核虚拟机调度策略的研究与分析[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 ;虚拟机的生与死[N];网络世界;2008年

2 本报记者 卜娜;高性能Java虚拟机将在中国云市场释能[N];中国计算机报;2012年

3 本报记者 邱燕娜;如何告别虚拟机管理烦恼[N];中国计算机报;2012年

4 ;首批通过云计算产品虚拟机管理测评名单[N];中国电子报;2014年

5 申琳;虚拟机泛滥 系统安全怎么办[N];中国计算机报;2008年

6 Tom Henderson邋沈建苗 编译;虚拟机管理的五大问题[N];计算机世界;2008年

7 盆盆;真实的虚拟机[N];中国电脑教育报;2004年

8 本版编辑　综合 编译整理 田梦;管理好虚拟机的全生命周期[N];计算机世界;2008年

9 李婷;中国研制出全球最快反病毒虚拟机[N];人民邮电;2009年

10 张弛;虚拟机迁移走向真正自由[N];网络世界;2010年

中国博士学位论文全文数据库 前10条

1 宋翔;多核虚拟环境的性能及可伸缩性研究[D];复旦大学;2014年

2 王桂平;云环境下面向可信的虚拟机异常检测关键技术研究[D];重庆大学;2015年

3 周真;云平台下运行环境感知的虚拟机异常检测策略及算法研究[D];重庆大学;2015年

4 郭芬;面向虚拟机的云平台资源部署与调度研究[D];华南理工大学;2015年

5 周傲;高可靠云服务供应关键技术研究[D];北京邮电大学;2015年

6 代炜琦;云计算执行环境可信构建关键技术研究[D];华中科技大学;2015年

7 刘圣卓;面向虚拟集群的镜像存储与传输优化[D];清华大学;2015年

8 陈彬;分布环境下虚拟机按需部署关键技术研究[D];国防科学技术大学;2010年

9 刘海坤;虚拟机在线迁移性能优化关键技术研究[D];华中科技大学;2012年

10 刘谦;面向云计算的虚拟机系统安全研究[D];上海交通大学;2012年

中国硕士学位论文全文数据库 前10条

1 潘飞;负载相关的虚拟机放置策略研究[D];杭州电子科技大学;2011年

2 王建一;混合型桌面云高可用性研究与实现[D];华南理工大学;2015年

3 周衡;云计算环境下虚拟机优化调度策略研究[D];河北大学;2015年

4 罗仲皓;基于OpenStack的私有云计算平台的设计与实现[D];华南理工大学;2015年

5 李子堂;面向负载均衡的虚拟机动态迁移优化研究[D];辽宁大学;2015年

6 张煜;基于OpenStack的“实验云”平台的研究与开发[D];西南交通大学;2015年

7 曾文琦;面向应用服务的云规模虚似机性能监控与负载分析技术研究[D];复旦大学;2013年

8 施继成;面向多核处理器的虚拟机性能优化[D];复旦大学;2014年

9 游井辉;基于虚拟机动态迁移的资源调度策略研究[D];华南理工大学;2015年

10 方良英;云平台的资源优化管理研究与实现[D];南京师范大学;2015年

本文编号：531922