面向遥感数据集群处理的任务调度模型研究与应用

发布时间：2017-08-06 14:07

  本文关键词：面向遥感数据集群处理的任务调度模型研究与应用

  更多相关文章： 任务调度 负载均衡 海量遥感数据 集群处理

【摘要】：近年来,我国卫星遥感技术正高速发展,遥感数据量爆炸式增长,遥感数据处理任务更加紧迫。面对如此大的遥感数据处理任务,高性能集群计算已经取得了非常不错的效果,极大地提高了数据处理效率。在遥感数据集群处理系统中,任务调度是其非常重要的组成部分,也是其性能提升的关键。而已有的调度算法都或多或少存在节点负载不均、计算资源利用率低、任务吞吐量小、任务平均调度时间较长等问题。为解决上述问题,本文在分析已有调度算法的基础上,考虑到遥感数据集群处理系统具有任务重、任务独立、任务性质比较单一及节点性能差异大等特点,提出了一种任务调度模型。该模型采用改进的先来先服务调度算法及节点负载均衡计算技术,能够很好地提高系统节点利用率和任务吞吐量,有效减少任务平均调度时间。本文的主要工作与贡献如下:1.研究分析当前应用于遥感数据集群处理系统的已有调度算法,针对它们或多或少存在节点利用率低、吞吐率低及任务调度时间较长等问题,提出一种基于任务和节点的双向任务调度模型。2.在提出该任务调度模型的基础上,首先通过分析RMI实现原理及其优缺点,并根据遥感数据集群处理系统的特点,设计任务调度模型通信机制;然后根据系统任务特点完成任务调度设计,并考虑负载均衡完成节点的负载计算与调度;最后完成任务调度模型的总体设计。3.将该任务调度模型应用于信息产品生产分系统中,并通过大量测试数据,表明本文提出的任务调度模型的确可以最大程度地实现节点的负载均衡,提高系统节点利用率和任务吞吐量,减小任务平均调度时间,系统稳定可靠。
【关键词】：任务调度 负载均衡 海量遥感数据 集群处理
【学位授予单位】：河南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP79
【目录】：

• 摘要4-5
• ABSTRACT5-9
• 1. 绪论9-13
• 1.1 研究背景及意义9-10
• 1.2 国内外研究现状10-11
• 1.3 论文研究内容及组织结构11-13
• 1.3.1 研究目标11
• 1.3.2 研究内容11-12
• 1.3.3 组织结构12-13
• 2. 相关技术介绍13-17
• 2.1 任务调度13-15
• 2.1.1 任务调度特点13
• 2.1.2 任务调度目标13
• 2.1.3 任务调度模型分类13-14
• 2.1.4 常用任务调度算法14-15
• 2.2 负载均衡15-16
• 2.2.1 负载均衡概念15
• 2.2.2 经典负载均衡算法15-16
• 2.3 本章小结16-17
• 3. 信息产品生产分系统设计17-21
• 3.1 系统背景17
• 3.2 系统功能组成17-18
• 3.3 系统总体架构18-19
• 3.4 系统工作流程19-20
• 3.5 本章小结20-21
• 4. 任务调度模型设计21-29
• 4.1 任务调度模型工作流程21-22
• 4.2 基于RMI的通信机制22-23
• 4.3 任务调度模型设计23-28
• 4.3.1 基于任务的调度23-24
• 4.3.2 节点负载计算与调度24-26
• 4.3.3 任务调度模型总体设计26-28
• 4.4 本章小结28-29
• 5. 任务调度模型实现与测试分析29-39
• 5.1 任务调度模型实现29-34
• 5.1.1 代码实现29-31
• 5.1.2 运行环境31-32
• 5.1.3 运行界面32-34
• 5.2 任务调度模型测试及结果分析34-37
• 5.2.1 测试方案34-35
• 5.2.2 测试数据35
• 5.2.3 测试及结果分析35-37
• 5.3 本章小结37-39
• 6. 总结与展望39-41
• 6.1 总结39-40
• 6.2 展望40-41
• 参考文献41-45
• 致谢45-47
• 攻读硕士学位期间发表的论文47
• 攻读硕士学位期间参与的科研项目47-48

【相似文献】

中国期刊全文数据库 前7条

1 冯径;孔毅;彭含辛;;应用层通信任务调度模型[J];东南大学学报(自然科学版);2008年S1期

2 王亚玲;刘迪;曹占峰;尹洪苓;;基于优先级的任务调度模型在数据交换平台中的应用[J];中国电力;2008年04期

3 孟宪福;张晓燕;;基于排队理论的对等网络任务调度模型[J];计算机集成制造系统;2009年11期

4 王万玉;张志强;;多站多星任务调度模型及求解[J];电讯技术;2011年04期

5 闫华;武小悦;;卫星数传应急任务调度模型[J];计算机工程;2012年10期

6 周文;陈付亮;;PLC运行系统中IEC任务的调度分析和设计[J];电子元器件应用;2009年08期

7 ;[J];;年期

中国重要会议论文全文数据库 前2条

1 戴娜;肖杰;邸瑞华;;异构计算环境下任务调度模型的启发式算法研究[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

2 冯径;彭含辛;喻晓行;;一种混合优先级通信任务调度模型[A];2009第五届苏皖两省大气探测、环境遥感与电子技术学术研讨会专辑[C];2009年

中国硕士学位论文全文数据库 前7条

1 孟坤;考虑释放时间的可分任务调度模型与算法研究[D];西安电子科技大学;2014年

2 刘春丽;面向遥感数据集群处理的任务调度模型研究与应用[D];河南大学;2015年

3 吴慧慧;海量遥感影像共性产品生产任务调度模型研究及应用[D];河南大学;2014年

4 燕振斌;分布式环境下程序部署与监控系统中任务调度模型的研究[D];北京工业大学;2013年

5 侯锋;空间信息栅格中基于市场机制的任务调度模型研究[D];国防科学技术大学;2004年

6 张彪;基于BOINC的分布式任务调度模型研究[D];华东理工大学;2013年

7 崔悦;基于负载均衡的节能任务调度模型及其算法研究[D];西安电子科技大学;2014年

，

本文编号：630123