云计算平台上任务调度算法的研究

发布时间：2017-03-24 16:10

  本文关键词：云计算平台上任务调度算法的研究，由笔耕文化传播整理发布。

【摘要】：随着应用种类的增多和数据规模的增大,传统资源组织和管理方式无法满足用户对计算和存储的需求,这促使云计算概念出现和快速发展。云计算将成百上千的计算机组成远端大规模集群,将计算能力、数据存储和应用等以服务方式提供给用户,使用户像水电一样使用计算机资源。一经提出,受到学术界和企业界的广泛关注。随着越来越多的应用迁移到云平台,提高云计算平台的性能具有十分重要的意义。随着云计算的不断应用和发展,.针对应用需求出现了不同类型的分布式计算框架,相应产生了多种云计算平台。主流云计算平台包括：(1)适合处理离线批量应用的基于MapReduce计算框架的云平台,(2)可快速处理迭代应用和递增应用的基于事件驱动的云平台和(3)支持同时运行多种计算框架应用的弹性计算云平台。本文在深入调研云计算领域关键技术和研究现状的基础上,针对主流云计算平台,以提高云计算平台性能为目标,研究任务调度问题。本文的主要内容和贡献点如下：1.研究了基于MapReduce计算框架的云平台特性,提出了基于预取的调度算法,并进一步实现了一个任务调度器-HPSO。将预测机制、数据预取技术和任务调度三者结合,在任务调度策略的指引下采用数据预取技术,提高具有数据本地性任务的比例,进而优化云平台性能。实验结果显示：HPSO可获得不低于90%的数据本地性,可获得最高1.49倍的加速比。2.分析了基于事件驱动的云平台的特性,提出两步调度算法,并设计了任务调度器一TSS。该算法将新触发器直接分配到监测数据所在节点上,以响应数据更新；随后针对集群负载不均衡的情况,运用主节点宏观调控下的分布式随机抽样均衡算法进行负载均衡。将TSS配置在基于事件驱动的云平台Domino上,通过实验验证了该算法的有效性。3.分析了影响弹性计算云平台的性能因素,该平台采用增量资源机制防止任务饿死,为任务预留资源,导致资源利用率低,基于此提出了一种新的分类调度算法- CategoryS。该算法定义了小作业(small job)和大作业(largejob)两种标签,算法可分为两部分：第一部分,优先执行large job,尽量减少预留资源次数；第二部分,CategoryS将large job预留的资源借给smalljob,当large job所等待的资源到达时,收回借出的预留资源,这样即不影响large job的运行,且提高集群利用率。将CategoryS配置在YARN上，，实验结果表明,该算法可有效提高混合任务集的性能。
【关键词】：云计算 任务调度 计算框架 触发器 弹性计算
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP393.09;TP301.6
【目录】：

• 摘要5-7
• ABSTRACT7-16
• 主要符号对照表16-17
• 第一章 绪论17-29
• 1.1 云计算的概念17-20
• 1.1.1 云计算服务分类17-18
• 1.1.2 云计算研究现状18-20
• 1.2 研究背景和意义20-25
• 1.2.1 MapReduce平台的调度算法20-21
• 1.2.2 基于事件驱动的云平台的调度算法21-23
• 1.2.3 弹性计算云平台的调度算法23-25
• 1.3 本文的研究内容25-26
• 1.3.1 任务调度问题描述25-26
• 1.3.2 研究内容26
• 1.4 论文结构26-29
• 第二章 MapReduce平台上基于预取的调度算法29-57
• 2.1 引言29-30
• 2.2 相关工作介绍30-37
• 2.2.1 MapReduce计算框架30-31
• 2.2.2 Hadoop实现31-33
• 2.2.3 Hadoop资源管理33-34
• 2.2.4 数据本地性问题34-35
• 2.2.5 现有相关解决方案35-37
• 2.3 基于预取的调度算法设计37-47
• 2.3.1 任务调度问题描述38-39
• 2.3.2 算法框架39-40
• 2.3.3 预测模块40-41
• 2.3.4 调度优化器模块41-45
• 2.3.5 预取缓存机制45-47
• 2.4 实验和分析47-53
• 2.4.1 性能分析47-49
• 2.4.2 实验设置49
• 2.4.3 不同基准用例的性能比较49-51
• 2.4.4 基准用例输入数据大小时的性能比较51-53
• 2.4.5 HDFS基本数据块大小不同时性能比较53
• 2.4.6 扩展性能分析53
• 2.5 小结53-57
• 第三章 基于事件驱动云平台的两步调度算法57-77
• 3.1 引言57
• 3.2 相关工作介绍57-62
• 3.2.1 基于事件驱动的计算框架57-58
• 3.2.2 基于事件驱动的云平台58-60
• 3.2.3 基于事件驱动云平台与MapReduce平台比较60-61
• 3.2.4 任务调度相关研究61-62
• 3.3 两步调度算法设计62-69
• 3.3.1 任务调度问题描述62-64
• 3.3.2 算法总体框架64
• 3.3.3 触发器分配64-65
• 3.3.4 负载均衡算法65-69
• 3.3.5 算法复杂度分析69
• 3.4 TSS设计和实现69-71
• 3.5 实验和分析71-75
• 3.5.1 实验设置71-72
• 3.5.2 PageRank应用性能比较72-73
• 3.5.3 wordcount应用性能比较73-74
• 3.5.4 扩展性分析74-75
• 3.6 小结75-77
• 第四章 弹性云平台任务调度算法77-97
• 4.1 引言77-78
• 4.2 相关工作介绍78-83
• 4.2.1 弹性计算云平台78-81
• 4.2.2 相关任务调度算法81-83
• 4.3 算法设计83-91
• 4.3.1 问题描述83-84
• 4.3.2 算法框架84-85
• 4.3.3 多维资源分配85-88
• 4.3.4 基于预留资源的调度策略88-91
• 4.3.5 适用性91
• 4.4 实验和分析性能91-96
• 4.4.1 性能分析91-92
• 4.4.2 实验设置92
• 4.4.3 CategoryS性能分析92-95
• 4.4.4 扩展性分析95-96
• 4.5 小结96-97
• 第五章 总结与展望97-101
• 5.1 主要工作总结97-98
• 5.2 未来工作展望98-101
• 参考文献101-107
• 致谢107-109
• 在读期间发表的学术论文与取得的研究成果109-110

【相似文献】

中国期刊全文数据库 前10条

1 孟宪福;基于优先级的任务调度与负载均衡模型研究[J];小型微型计算机系统;2005年09期

2 廖晓文;廖京盛;;时间触发模式的任务调度与分解策略[J];单片机与嵌入式系统应用;2006年07期

3 樊晓香;;任务调度问题机制设计[J];计算机技术与发展;2008年07期

4 黄漾;;分布式环境下任务调度探讨[J];电脑知识与技术;2011年19期

5 陈军;谢立;孙钟秀;;分布式任务调度研究的新趋向[J];计算机研究与发展;1990年04期

6 陈艇;;基于混沌最优博弈的网络任务调度算法仿真[J];计算机仿真;2013年11期

7 李陶深;李明丽;张希翔;;云计算环境下任务调度技术的研究进展[J];玉林师范学院学报;2014年02期

8 刘雄文,陆鑫达;元计算环境中任务调度的深入分析[J];计算机工程与应用;2002年17期

9 罗红,慕德俊,邓智群,王晓东;网格计算中任务调度研究综述[J];计算机应用研究;2005年05期

10 张国海;江平宇;周光辉;;多设计任务调度的非合作博弈研究[J];西安交通大学学报;2007年03期

中国重要会议论文全文数据库 前10条

1 刘培培;李连;丛海鹏;谢勇;;基于多代理协商机制的任务调度系统研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（下）[C];2006年

2 张磊;马军;;描述短时资源混杂占用型任务调度的数学模型与算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

3 王军;巢玉强;彭钊轶;;基于任务调度的电能量计量采集系统的设计与实现[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年

4 张志强;王万玉;王建平;李凡;袁刚;;多站多星任务调度优化模型研究[A];第二十三届全国空间探测学术交流会论文摘要集[C];2010年

5 韩云;于炯;张伟;王命全;;基于负载均衡的任务调度改进算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

6 王全民;王靓;许智宏;;网格环境中基于蚁群算法的批量任务调度的研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年

7 张晓云;岳继光;杨麟祥;;零星任务调度在多控制任务系统中的应用[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

8 刘宇;刘玉荣;周冰;;基于WCF的环境减灾星座运控任务调度系统[A];第二十五届全国空间探测学术研讨会摘要集[C];2012年

9 黄文泽;邵峰晶;孙仁诚;;基于双总线安全结构的操作系统任务调度[A];2009全国计算机网络与通信学术会议论文集[C];2009年

10 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年

中国重要报纸全文数据库 前1条

1 王波;Linux与服务器集群技术[N];中国计算机报;2002年

中国博士学位论文全文数据库 前10条

1 赵凡宇;航天器多目标观测任务调度与规划方法研究[D];北京理工大学;2015年

2 孙明明;云计算平台上任务调度算法的研究[D];中国科学技术大学;2015年

3 郭力争;云计算环境下资源部署与任务调度研究[D];东华大学;2015年

4 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年

5 瞿进;可重构系统软硬功能划分及任务调度技术研究[D];解放军信息工程大学;2011年

6 周双娥;实时分布容错系统的任务调度技术研究[D];哈尔滨工程大学;2003年

7 柴亚辉;基于FPGA的高性能计算架构硬件任务与资源模型研究[D];上海大学;2012年

8 金刚;云环境下任务调度关键问题研究[D];吉林大学;2015年

9 耿晓中;基于多核分布式环境下的任务调度关键技术研究[D];吉林大学;2013年

10 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年

中国硕士学位论文全文数据库 前10条

1 张巧龙;云计算环境下任务调度问题的研究[D];江南大学;2015年

2 徐彬;云环境下基于动态融合遗传蚁群算法的DAG任务调度研究[D];南京信息工程大学;2015年

3 钟潇柔;基于动态遗传算法的云计算任务节能调度策略研究[D];哈尔滨工业大学;2015年

4 李婷;分布式爬虫任务调度与AJAX页面抓取研究[D];电子科技大学;2015年

5 赵彬;基于任务调度和动态资源调整的云计算节能机制及能效分析[D];广西大学;2015年

6 杨镜;基于人工免疫系统的云平台动态任务调度[D];电子科技大学;2014年

7 王一冰;基于ASP.NET的任务调度管理系统的设计与实现[D];电子科技大学;2013年

8 白晶晶;云环境下安全和可靠性驱动的工作流任务调度研究[D];新疆大学;2015年

9 吕信科;基于多核阵列的任务调度技术研究[D];电子科技大学;2015年

10 温宇昂;单阶段差异化多机可拆分任务调度优化方法[D];东北大学;2013年

  本文关键词：云计算平台上任务调度算法的研究，由笔耕文化传播整理发布。

本文编号：265844