基于MapReduce模型的云平台调度策略优化研究

发布时间：2017-04-15 08:33

  本文关键词：基于MapReduce模型的云平台调度策略优化研究，，由笔耕文化传播整理发布。

【摘要】：随着计算机技术的进步与发展,云计算作为从分布式计算、网格计算和并行计算发展而来的新兴计算模式得到了飞速的发展。云计算把所有的计算资源、存储资源集中在云端,以便于提供更廉价、更优质的服务给用户使用。云计算作为一种商用计算模式,用户的服务满意度对云计算的发展和运营起着决定性的作用,因此如何在满足用户服务质量(QoS)的同时使系统资源利用率达到最优,就成为值得深入研究的课题。本文针对现有MapReduce架构下存在的调度性能问题和用户对服务质量QoS的需求问题,提出了用于提高QoS的一种基于优化遗传和蚁群算法融合的云计算任务调度策略。该算法在保证用户QoS的前提下,首先利用遗传算法全局搜索查找能力强的特点找到调度问题的较优解,再将遗传算法部分找到的较优解转化为蚁群的初始信息素值,再经过蚁群算法的蚁群信息交流和正反馈机制找到任务调度问题的最优解。本文在分析了现有调度算法后,针对传统调度算法在减少作业平均完成时间和实现负载均衡上的不足,提出了一种基于最短完成时间的调度策略,目标是将待执行任务分配到合适的空闲资源上,从而减少作业的平均完成时间。同时,针对现有云系统中调度中心节点Master负载过重的问题,在基于最短完成时间调度策略的基础上,提出了引入Scheduler Master节点的调度模型,该节点主要负责调度过程中任务与资源的匹配计算,能够有效减轻Master节点的计算负载。最后,在CloudSim云计算仿真平台上,将作业平均执行时间和用户QoS收益作为评估指标,验证了本文提出的调度算法和调度模型的有效性和稳定性。
【关键词】：云计算 服务质量 调度策略 调度模型
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.01
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-12
• 1.1 研究背景8-9
• 1.2 国内外研究现状9-10
• 1.2.1 云计算研究现状9
• 1.2.2 任务调度算法研究现状9-10
• 1.3 本文的主要工作和组织结构10-12
• 第二章 基于MapReduce的云计算模型研究12-23
• 2.1 云计算技术12-14
• 2.1.1 云计算的概念12-13
• 2.1.2 云计算的体系结构13-14
• 2.2 云计算的关键技术14-16
• 2.2.1 云计算的核心技术14-15
• 2.2.2 云计算的优点15-16
• 2.3 MapReduce编程模型16-21
• 2.3.1 MapReduce简述16
• 2.3.2 MapReduce编程模型16-17
• 2.3.3 MapReduce实现框架17-19
• 2.3.4 Hadoop开源平台19-21
• 2.4 本章小结21-23
• 第三章 云环境下基于QoS的任务调度算法研究与改进23-39
• 3.1 现有调度算法研究现状23-26
• 3.1.1 常用的任务调度算法24-25
• 3.1.2 基于QoS的任务调度算法研究25
• 3.1.3 现有算法存在的问题25-26
• 3.2 遗传算法与蚁群算法概述26-31
• 3.2.1 遗传算法基本原理26-28
• 3.2.2 蚁群算法原理28-31
• 3.2.3 遗传和蚁群算法的融合31
• 3.3 基于改进遗传与蚁群算法融合的任务调度算法31-38
• 3.3.1 IGAACO的相关定义31-33
• 3.3.2 遗传算法的相关设定33-35
• 3.3.3 蚁群算法的相关设定35-36
• 3.3.4 IGAACO的任务调度36-38
• 3.4 本章小结38-39
• 第四章 基于MapReduce模型的云计算调度模型研究与改进39-47
• 4.1 基于MapReduce集群调度模型39-40
• 4.1.1 调度模型的设计分析39-40
• 4.1.2 调度模型需要解决的问题及解决方案40
• 4.2 基于最短平均完成时间的调度策略40-43
• 4.2.1 任务预计完成时间的评估模型40-42
• 4.2.2 基于最短平均完成时间的调度策略42-43
• 4.3 MCTSS-BSACT调度方案阐述43-46
• 4.3.1 引入AssistMaster节点的调度优化模型43-45
• 4.3.2 MCTSS-BSACT调度方案45-46
• 4.4 本章小结46-47
• 第五章 实验仿真及性能分析47-57
• 5.1 仿真平台CloudSim简介47-49
• 5.2 实验环境49-51
• 5.2.1 CloudSim环境配置49
• 5.2.2 CloudSim仿真步骤49-51
• 5.3 实验结果及分析51-56
• 5.3.1 IGAACO算法的实验51-54
• 5.3.2 调度策略TSSACT的实验54-55
• 5.3.3 MCTSS-BSACT调度模型的性能试验55-56
• 5.4 本章小结56-57
• 第六章 总结与展望57-59
• 参考文献59-61
• 附录1 攻读硕士学位期间撰写的论文61-62
• 致谢62

【相似文献】

中国期刊全文数据库 前10条

1 王];郑树琴;;调度策略在并行机调度仿真的应用[J];机械管理开发;2013年01期

2 王浩,钟玉琢;一种新的基于流合并的调度策略[J];计算机学报;2001年03期

3 张丽晓,袁立强,徐炜民;基于任务类型的集群调度策略[J];计算机工程;2004年13期

4 宁凝;钱省三;孟志雷;;带有工艺约束的并行多机调度策略[J];工业工程;2008年02期

5 刘宴兵;李秉智;幸云辉;;宽带路由器输入排队调度策略的综合研究[J];计算机科学;2002年03期

6 杨祥茂;谭曦;;基于网络资源消费者模型的调度策略[J];计算机科学;2003年09期

7 黄敏;姚正林;刘金刚;;网络QoS调度策略的分析与研究[J];计算机工程与应用;2006年29期

8 方泳;袁召云;;环行穿梭车调度策略的仿真研究[J];物流技术与应用;2012年04期

9 胡敏,陶洋;基于网络配置管理的调度策略分析[J];数字通信;1999年04期

10 王振凯,刘斌,徐光yP;核心无状态虚拟时钟调度策略[J];清华大学学报(自然科学版);2003年01期

中国重要会议论文全文数据库 前10条

1 胡子敬;李红燕;;一种资源共享情况下的连续查询算子调度策略[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

2 林志红;;照口水电厂优化调度策略的分析[A];福建省科学技术协会第八届学术年会分会场——提高水电站水库调度技术 推进海西经济建设研讨会论文集[C];2008年

3 黄锦涛;何加铭;陈平;贾德祥;;基于移动中间件抽象层调度策略研究[A];浙江省电子学会2010学术年会论文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大规模单机静态调度的终端约束滚动策略[A];第二十二届中国控制会议论文集（下）[C];2003年

5 赵千川;郑大钟;;一类HDS的事件反馈型最优调度策略[A];1996年中国控制会议论文集[C];1996年

6 赵千川;郑大钟;;CLB调度策略的性能估计[A];1998年中国控制会议论文集[C];1998年

7 方剑;席裕庚;;动态环境下的Job Shop周期性滚动调度策略[A];1996中国控制与决策学术年会论文集[C];1996年

8 淡图南;朱立平;颜纪迅;;一种基于时间触发的安全关键操作系统混合调度策略[A];全面建成小康社会与中国航空发展——2013首届中国航空科学技术大会论文集[C];2013年

9 郭红星;彭嘉丽;盛涛;田婷;张爱华;;无线多用户视频流中支持内容感知的包调度策略[A];第四届和谐人机环境联合学术会议论文集[C];2008年

10 李茂增;王丹;杜东明;;一种数据流查询操作符的调度策略[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

中国重要报纸全文数据库 前1条

1 戈;国华集群负载优化系统具备八项功能[N];电脑商报;2007年

中国博士学位论文全文数据库 前8条

1 周浏阳;网络控制系统中调度策略的设计与延时的处理[D];哈尔滨工业大学;2015年

2 Rabee Furkan Hassan Saleh;[D];电子科技大学;2015年

3 张晔;基于模块的调度策略及其对多处理器系统的支持[D];中国科学技术大学;2009年

4 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年

5 何忠贺;切换服务网络的稳定性及交通信号控制应用[D];北京工业大学;2013年

6 王文乐;基于替代/补偿的实时事务处理策略研究[D];江西财经大学;2013年

7 王书举;车辆控制系统局域网络（CAN）调度策略研究[D];东北大学;2011年

8 张金艺;可重构SoC DFT架构与TLB测试调度策略研究[D];上海大学;2009年

中国硕士学位论文全文数据库 前10条

1 丁富淮;嵌入式Linux系统的二级调度策略优化技术及应用[D];苏州大学;2015年

2 成先镜;公共自行车两阶段调度策略与模型及求解方法研究[D];南京师范大学;2015年

3 赵金涛;虚拟单元制造中考虑随机扰动的多级动态稳健调度策略研究[D];江苏科技大学;2015年

4 张晏;OpenStack的拓扑可视化监控技术研究与实现[D];电子科技大学;2014年

5 殷洪海;云环境下基于改进蚁群算法的资源调度策略[D];电子科技大学;2014年

6 王润泽;CPU与GPU混合虚拟化资源高效调度策略[D];上海交通大学;2015年

7 童毅;基于MapReduce模型的云平台调度策略优化研究[D];南京邮电大学;2015年

8 李振双;云计算环境下资源调度策略的研究与实现[D];北京邮电大学;2014年

9 何林;面向网格计算的多集群间作业调度策略的设计与实现[D];哈尔滨工业大学;2012年

10 游九龙;自适应集群的资源调度策略研究[D];西安电子科技大学;2013年

  本文关键词：基于MapReduce模型的云平台调度策略优化研究，由笔耕文化传播整理发布。

本文编号：307985