云计算平台的能耗优化调度技术的研究

发布时间：2017-09-12 09:38

  本文关键词：云计算平台的能耗优化调度技术的研究

  更多相关文章： 能耗优化 虚拟机放置 MapReduce 云计算

【摘要】：随着大数据时代的到来,云计算作为一种IT基础设施使用模式,备受工业界和学术界的关注。各种云计算服务供应商建立了大量的云计算基础设施,为用户按需提供各种计算资源,类似于亚马逊的EC2、微软的Azure等基础设施服务(IaaS)快速涌现在我们的生活和工作中。IaaS提供者为用户提供自动弹性的资源。然而,在云计算技术在为我们的生活和工作提供便利的同时,云数据中心的高能耗问题逐渐成为一个突出的问题,能耗的高效管理成为近年来学者们非常关注的研究课题。云数据中心有各种不同类型的任务,合理的为每个任务分配物理资源能够有效降低能量消耗,如何为这些不同类型的任务高效的分配物理服务器资源属于多目标优化问题。本文通过建立系统模型,确定节能目标函数以及相关变量。针对任务集的物理资源分配问题,提出一种节能调度算法——任务集整合算法。任务集整合算法通过任务集之间的资源需求情况,计算启发式算法的参数,控制任务集之间的整合,降低云数据中心的能量消耗。并且验证了任务集整合算法使云计算平台激活的物理服务器数量比不使用任何节能算法时降低70%左右,能耗降低67%左右。MapReduce常常被用来处理数据密集型作业,随着虚拟化技术的普及,许多云数据中心能够直接建立MapReduce虚拟集群。本文针对MapReduce虚拟集群的能耗优化问题,分别对批处理模式和在线模式提出虚拟机放置能耗优化策略。针对批处理模式,本文提出虚拟机配方打包算法和频率调整算法,这两个算法能够在保证作业的完成时间的同时,有效降低数据中心的能量消耗。并且证明了本文所使用的处理器的最优频率,以及使用DVFS技术能够达到的节能上限。FS算法也能够应用于其他的虚拟机放置算法。针对在线模式,本文提出在线时间平衡算法,这个算法能够在虚拟机的生命周期和资源利用率之间做出权衡,使数据中心活跃的物理服务器和能量消耗一定程度的降低。最后,本文实现一套能在集群上快速部署Hadoop平台,按需进行个性化配置,对集群资源进行可视化管理的系统。使用本文的系统,能够使用户从繁琐的集群配置中解放出来,使用图形化的配置界面,一键配置Hadoop平台。同时木文的系统提供多种实时调度器,用户可以根据自己作业的类型,选用适合自己的调度器。本文的系统还能实时监控Hadoop平台的运行情况,从系统中查看其运行状况。
【关键词】：能耗优化 虚拟机放置 MapReduce 云计算
【学位授予单位】：西南交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.09
【目录】：

• 摘要6-7
• Abstract7-11
• 第1章 绪论11-16
• 1.1 论文的研究背景和意义11-12
• 1.2 国内外研究现状12-14
• 1.3 本文研究内容14
• 1.4 本文的组织结构14-16
• 第2章 相关技术16-22
• 2.1 Hadoop生态系统16-17
• 2.2 MapReduce计算框架17-19
• 2.3 HDFS文件系统19-20
• 2.4 Xen虚拟机软件20
• 2.5 DVFS技术20-21
• 2.6 本章小结21-22
• 第3章 任务集整合能耗优化策略22-35
• 3.1 系统调度模型22-28
• 3.1.1 物理集群模型22
• 3.1.2 虚拟集群模型22-24
• 3.1.3 能耗模型24
• 3.1.4 DVFS能耗模型24-26
• 3.1.5 任务集模型26
• 3.1.6 MapReduce作业模型26-27
• 3.1.7 性能模型27-28
• 3.2 任务集整合策略28-30
• 3.3 性能评估30-33
• 3.4 本章小结33-35
• 第4章 虚拟机放置能耗优化策略35-54
• 4.1 批处理模式下的虚拟机放置能耗优化策略35-39
• 4.1.1 饱和配方生成算法35-37
• 4.1.2 配方打包算法37
• 4.1.3 频率调整算法37-39
• 4.1.4 最优频率证明39
• 4.2 在线模式下的虚拟机放置能耗优化策略39-41
• 4.3 性能评估41-52
• 4.3.1 仿真实验42-49
• 4.3.2 Hadoop平台实验49-52
• 4.4 本章小结52-54
• 第5章 云计算平台调度管理系统的设计与实现54-65
• 5.1 系统介绍54-55
• 5.2 模块介绍与展示55-58
• 5.3 系统测试58-64
• 5.4 本章小结64-65
• 结论65-67
• 致谢67-68
• 参考文献68-73
• 攻读硕士期间发表的论文及科研成果73

【相似文献】

中国期刊全文数据库 前10条

1 宗平;严金瑶;;云计算环境中服务器能耗管理机制的应用研究[J];计算机技术与发展;2013年11期

2 袁中华;胡晖;;基于物联网的通信能耗管控系统[J];现代电信科技;2012年10期

3 陈海雄;蒋多元;;能源管理技术在勘探开发云中心的应用[J];数字技术与应用;2014年02期

4 刘伟;崔永锋;;复杂目标进化指导的高效网络能耗指导[J];科技通报;2014年04期

5 鞠宁;周建;;基于无线网络的能耗实时监测系统[J];中国水运(下半月);2014年03期

6 邓飞;;依托动力环境监控建立通信局站能耗管理体系[J];通信电源技术;2009年S1期

7 王云生;于军琪;杨柳;;大型公建能耗实时监测及节能管理系统研究[J];建筑科学;2009年08期

8 叶可江;吴朝晖;姜晓红;何钦铭;;虚拟化云计算平台的能耗管理[J];计算机学报;2012年06期

9 雷成军;罗亮;吴文峻;;基于云计算的集群能耗监控与节能方法研究[J];计算机应用与软件;2011年11期

10 杜正杰;王卫锋;李鸿斌;;基于网络技术的能耗监管系统设计[J];测控技术;2013年03期

中国重要会议论文全文数据库 前1条

1 黄韧;罗记龙;;绿色通信能耗专家系统[A];通信电源新技术论坛2011通信电源学术研讨会论文集[C];2011年

中国重要报纸全文数据库 前10条

1 记者 张陆龙;我市推行更严格能耗管理制度[N];绍兴日报;2010年

2 通讯员 聂卿;漳泽发电分公司开展能耗评估[N];中国电力报;2005年

3 本报记者 马玲 通讯员 熊杰;管控住每一个能耗点[N];中国石化报;2014年

4 郗海才;齐鲁炼厂能耗管理效果显著[N];中国石化报;2004年

5 方彤;河南油田试油部三道防线降能耗[N];中国石化报;2008年

6 本报记者 穆广田 通讯员 贺地红;打好“组合牌” 能耗降下来[N];中国石油报;2013年

7 记者 王衍国 刘新圣;齐鲁石化储运厂节能实现新突破[N];物资信息报;2005年

8 薛振河;依靠科技进步 加强能耗管理 建设节约型企业[N];中国航空报;2006年

9 记者 余万芳邋见习记者 魏金金;能耗不降,企业和政府领导一律“问责”[N];绍兴日报;2007年

10 刘楠;我国首个电厂能耗实时监控系统问世[N];中国知识产权报;2008年

中国博士学位论文全文数据库 前3条

1 郝亮;面向能耗优化的云计算资源调度算法研究[D];哈尔滨工业大学;2015年

2 左利云;云计算中基于任务特性和资源约束的调度方法研究[D];华南理工大学;2016年

3 赖志权;众核系统动态能耗管理技术研究[D];国防科学技术大学;2015年

中国硕士学位论文全文数据库 前10条

1 王丹;区域经济单位GDP能耗的解析研究[D];东北大学;2014年

2 赵洲;面向云计算服务的能耗采集与预测方法[D];华东师范大学;2016年

3 邓聃婷;云计算平台的能耗优化调度技术的研究[D];西南交通大学;2016年

4 吴敏;建筑能耗评价方法研究及校园能耗监测系统开发[D];西安建筑科技大学;2016年

5 潘雄;性能确保的能耗感知实时应用设计优化[D];电子科技大学;2016年

6 苗守庭;基于作业成本法的电信运营企业能耗管理研究[D];北京邮电大学;2010年

7 吴琼;沈阳市装备制造业能耗评价体系研究[D];沈阳工业大学;2010年

8 李妍霏;云计算中的能耗计量模型和节能优化机制[D];北京邮电大学;2013年

9 黄金礼;高性能计算机系统能耗管理技术方法研究[D];国防科学技术大学;2012年

10 张秀洋;基于软件版本演化的能耗建模与分析方法研究[D];云南大学;2015年

，

本文编号：836457