基于混合集群节能调度器的研究与设计

发布时间：2017-08-27 22:30

  本文关键词：基于混合集群节能调度器的研究与设计

  更多相关文章： 能耗控制 混合数据中心 分布式 资源管理 调度策略 虚拟化

【摘要】：随着温室气体的不断排放,全球变暖已经成为一个不容忽视的问题,现在越来越多的企业和研究机构在数据中心的建设中已经考虑到了节能减排的问题;随着数据中心服务器数目逐年增多,企业在数据中心电能上的投入也逐年增多,数据中心的能耗控制问题也越发重要。目前,数据中心主要通过虚拟化技术降低能耗。数据中心中交互式应用通常部署在虚拟集群,但是另一方面,mapreduce批处理任务为了避免虚拟化的性能开销,通常需要部署在物理集群。为了同时利用物理集群和虚拟机群的优势,设计了一种节能调度器,它适用于同时包含物理机器和虚拟机器的混合集群,可以在保证任务一定性能的前提下有效地降低集群整体的能耗。该调度器调度过程分成两个阶段:第一阶段,调度器对任务构建模型并预测任务的运行时间,根据预测的运行时间将任务导入到物理机器或虚拟机器中;第二阶段,调度器通过各节点反馈的状态信息,实时监控管理各节点的能耗。实验阶段建立了一个包括了有8台物理服务器和24台虚拟机器的混合集群,运行交互式应用和批处理任务的混合负载。实验结果表明,节能调度器调度下的混合集群相比虚拟集群,平均可以缩短任务33.4%的运行时间,同时降低12.1%的能耗;而与物理集群相比,虽然损失了14.6%的性能,但是降低了36.2%的能耗。实验结果表明一个有着高效调度机制的混合数据中心可以为交互式和批处理任务提供一种经济有效的方案。
【关键词】：能耗控制 混合数据中心 分布式 资源管理 调度策略 虚拟化
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP308;TK018
【目录】：

• 摘要4-5
• Abstract5-8
• 1 绪论8-15
• 1.1 背景8-9
• 1.2 国内外研究现状9-13
• 1.3 论文主要工作13-14
• 1.4 论文的内容安排14-15
• 2 Hadoop关键技术介绍15-23
• 2.1 Hadoop体系结构15-16
• 2.2 Map Reduce计算框架16-19
• 2.3 Hadoop分布式文件系统19-22
• 2.4 本章小结22-23
• 3 混合集群的特性23-30
• 3.1 虚拟集群特点23-24
• 3.2 虚拟化性能开销24-25
• 3.3 虚拟机资源竞争对于性能的影响25-27
• 3.4 虚拟机的数据局部性27-29
• 3.5 本章小结29-30
• 4 基于节能的调度器设计与实现30-44
• 4.1 设计目标30-31
• 4.2 调度器框架31-32
• 4.3 调度器第一阶段32-37
• 4.4 调度器第二阶段37-43
• 4.5 本章小结43-44
• 5 实验分析44-49
• 5.1 测试环境44
• 5.2 实验设计44-46
• 5.3 实验结果及分析46-48
• 5.4 本章小结48-49
• 6 总结49-51
• 6.1 工作总结49-50
• 6.2 工作展望50-51
• 致谢51-53
• 参考文献53-57

【相似文献】

中国期刊全文数据库 前5条

1 樊金斗;刘斌;;高速路由器中并行化调度器的体系结构[J];清华大学学报(自然科学版);2013年11期

2 梁蔓安;周燕飞;;一种基于规则约束着色Petri网的车间调度器[J];航空制造技术;2006年10期

3 胡红钱;施伟锋;;基于μCOS-Ⅱ系统任务调度器的汽车多媒体系统设计[J];计算机应用;2011年S1期

4 王桐森;;一种Linux内核CFS调度器的仿真分析系统[J];科学技术与工程;2009年17期

5 ;[J];;年期

中国重要会议论文全文数据库 前2条

1 刘桂波;陈国华;罗大庸;;一类链路调度器的统一随机服务曲线研究[A];2011第十六届全国自动化技术与应用学术年会专辑[C];2011年

2 叶永凯;董威;舒绍娴;徐小平;;freeRTOS内核的RM调度器的设计与实现[A];第十六届计算机工程与工艺年会暨第二届微处理器技术论坛论文集[C];2012年

中国重要报纸全文数据库 前7条

1 并行分布处理国家重点实验室 章文嵩 章文卓 吴泉源;可伸缩网络服务的Linux集群[N];计算机世界;2000年

2 中科院计算所软件研究室 李洋;确保Linux环境下文件共享的安全[N];计算机世界;2004年

3 ;IP层次化QoS大有可为[N];计算机世界;2004年

4 吴e，

本文编号：746183