分布式计算平台中任务调度算法的设计

发布时间：2017-09-22 04:30

  本文关键词：分布式计算平台中任务调度算法的设计

  更多相关文章： 分布式计算平台 任务调度 负载均衡 资源分级 通用性

【摘要】：随着科学技术的迅猛发展,在学术研究和工程实践等多个领域,需要通过大量的复杂计算才能实现目标。同时,互联网的迅速发展,相关的业务如数据共享、信息汇总等的数据规模也在超速的增长,其过程大都涉及到对海量数据的处理,其计算的复杂度也是相对较高的。这些都对计算机的性能提出了很高的要求,但实际中选择的高性能超级计算机又是不现实的。所以,提出一种方案,对复杂任务或者海量数据进行适度的分解,将这些分解后较小的计算片段分配到多个计算机资源上进行分布式计算,最后计算出最终的结果,使得空闲的计算资源得到了有效的利用。论文首先介绍了分布式计算平台的基础架构设计。分析比较了常见的分布式计算模型,研究了分布式计算系统的三层逻辑体系结构,提出了建立一个基于客户端-服务器端-计算节点模型的三层结构的分布式计算平台框架的设计方案;计算平台提供简单的接口,实现了该接口的应用程序可以利用系统构建的计算网络来完成复杂的计算任务,使得该计算平台具备一定的通用性和可扩展性;并对计算平台的客户端、服务器端、计算节点进行详细的设计。此外,提出了一种计算资源的请求方式,利用分布式计算平台的计算资源:客户端提交计算项目,计算项目中有多个任务;服务器的调度计算任务给不同的计算节点;计算节点提供计算服务。然后提出一种适用于该分布式计算平台的基于资源分级的自适应Min-Min任务调度改进算法,兼顾任务完成时间较短和计算资源负载均衡,对其进行详细的描述并通过使用GridSim软件模拟实验进行分析验证算法的可行性。最后对该分布式计算平台进行了实现,对该平台所做的工作给予验证,表明该计算平台的可行性和正确性。
【关键词】：分布式计算平台 任务调度 负载均衡 资源分级 通用性
【学位授予单位】：天津大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP338.8;TP301.6
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 绪论8-12
• 1.1 研究背景8-9
• 1.2 研究目的和意义9-10
• 1.3 本文的主要工作10
• 1.4 论文结构10-12
• 第二章 相关理论介绍12-17
• 2.1 分布式计算12-14
• 2.1.1 分布式计算的原理12-13
• 2.1.2 分布式计算的发展13
• 2.1.3 分布式计算技术种类13-14
• 2.2 分布式计算中的任务调度算法14-16
• 2.2.1 任务调度模式14-15
• 2.2.2 经典任务调度算法15-16
• 2.3 小结16-17
• 第三章 分布式计算平台的设计17-33
• 3.1 需求分析17-18
• 3.2 分布式计算平台的总体设计18-20
• 3.3 分布式计算平台的任务流程设计20-21
• 3.4 客户端21-25
• 3.4.1 文件类型21
• 3.4.2 任务来源21-23
• 3.4.3 任务类型及范围23-24
• 3.4.4 计算项目提交和任务管理24-25
• 3.5 服务器端25-28
• 3.5.1 数据管理模块25-26
• 3.5.2 平台监控管理及功能接口模块26-27
• 3.5.3 任务调度模块27-28
• 3.6 计算节点28-32
• 3.6.1 任务执行层模块29-30
• 3.6.2 计算服务流程描述30-32
• 3.7 小结32-33
• 第四章 分布式计算中基于资源分级的自适应Min-Min算法33-45
• 4.1 Min-Min算法33-36
• 4.1.1 Min-Min算法的原理33-34
• 4.1.2 Min-Min算法的不足34-36
• 4.2 基于资源分级的自适应Min-Min任务调度算法（RCSMM）36-39
• 4.2.1 建立基于资源分级的任务调度模型36
• 4.2.2 资源分级方法36-37
• 4.2.3 自适应Min-Min任务调度算法37-39
• 4.3 实验验证及结果分析39-43
• 4.3.1 模拟计算环境39
• 4.3.2 评价指标39-40
• 4.3.3 实验设计40-41
• 4.3.4 实验结果分析41-43
• 4.4 小结43-45
• 第五章 分布式计算平台的实现45-56
• 5.1 开发环境介绍45-46
• 5.1.1 计算节点配置45
• 5.1.2 服务器配置45
• 5.1.3 平台开发语言及工具45-46
• 5.2 结构化设计46-49
• 5.3 分布式计算平台功能划分49-51
• 5.4 功能接口设计51-52
• 5.5 运行结果52-55
• 5.5.1 主界面52-54
• 5.5.2 计算节点界面54-55
• 5.6 小结55-56
• 第六章 结束语56-57
• 6.1 工作总结56
• 6.2 进一步的研究工作56-57
• 参考文献57-60
• 发表论文和参加科研情况说明60-61
• 致谢61-62

【参考文献】

中国期刊全文数据库 前10条

1 陶雪丽;郑延斌;;多Agent层次任务分配方法[J];计算机工程与设计;2013年05期

2 王素贞;杜治娟;;基于移动Agent的移动云计算系统构建方法[J];计算机应用;2013年05期

3 秦高德;文高进;;大型分布式计算中的分级节能调度[J];计算机科学;2013年04期

4 曾青华;袁家斌;;基于MapReduce和GPU双重并行计算的云计算模型[J];计算机与数字工程;2013年03期

5 夏家莉;陈辉;杨兵;;一种动态优先级实时任务调度算法[J];计算机学报;2012年12期

6 苏小会;张宏利;;云计算中任务分解算法的改进[J];电子设计工程;2012年23期

7 郑宇军;陈胜勇;凌海风;徐新黎;;多Agent主从粒子群分布式计算框架[J];软件学报;2012年11期

8 杨际祥;谭国真;王凡;周美娜;;一种大规模分布式计算负载均衡策略[J];电子学报;2012年11期

9 左利云;曹志波;;云计算中调度问题研究综述[J];计算机应用研究;2012年11期

10 吴泉源;;网络计算中间件[J];软件学报;2013年01期

中国博士学位论文全文数据库 前6条

1 邓见光;云计算任务调度策略研究[D];华南理工大学;2014年

2 史恒亮;云计算任务调度研究[D];南京理工大学;2012年

3 宋言伟;基于P2P网络节点上下文的任务分解和调度方法研究[D];山东大学;2012年

4 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年

5 王轶然;分布式主存系统上自动数据和计算分解和相关研究[D];中国科学院研究生院（计算技术研究所）;2006年

6 魏洪涛;基于网格计算的仿真任务管理与调度方法研究[D];国防科学技术大学;2005年

中国硕士学位论文全文数据库 前3条

1 吴家兴;云环境下基于多移动Agent的低能耗任务调度策略的研究[D];南京邮电大学;2013年

2 赵莎;分布式海量数据处理系统计算节点的设计与实现[D];电子科技大学;2012年

3 陈恺;协同设计系统中基于P2P的安全通信平台的研究与实现[D];东南大学;2005年

，

本文编号：898808