遥感产品生产集群中动态双向匹配任务调度算法的应用研究

发布时间：2017-11-07 18:05

  本文关键词：遥感产品生产集群中动态双向匹配任务调度算法的应用研究

  更多相关文章： 任务调度 动态双向匹配 遥感数据处理 集群

【摘要】：随着遥感综合应用的不断深化和遥感商业的兴起以及遥感数据获取领域相关技术的进步,在遥感数据质量提高的同时体量也急剧增长,给遥感数据的业务化处理带来挑战。为了提升遥感数据业务化系统的实用性,研制高效的遥感数据处理集群系统用于提高遥感数据处理的效能变得非常必要。在引入高性能集群处理系统实现遥感数据快速高效处理的过程,任务调度算法作为高性能集群处理系统的核心组成部分,对提高整个集群系统的性能起到关键作用,受到了研究人员和工程人员的密切关注。遥感卫星产品集群系统中,具有遥感数据任务量多、任务类型相对单一、计算节点利用率不均衡等特点,在目前已有的一些集群任务调度算法中,在某些方面存在一些不足,比如计算节点的利用不均衡、系统吞吐量小、任务调度时平均等待时间长等,难于满足遥感数据处理的需要。针对上述问题,本文在研究有关任务调度算法的基础上,考虑在遥感卫星产品集群系统中,对遥感数据处理的时效性评估可以从处理效率和计算资源利用率两个角度进行,并因此提出了一种结合遥感数据处理先验值的动态双向匹配调度算法,即同步考虑先验值、任务情况和计算节点状态的双向调度的方法,实验结果表明该算法对集群系统中遥感数据处理效能有明显的提高。本文主要的研究内容和贡献:(1)设计并实现一种动态双向匹配调度算法通过对遥感卫星产品集群系统的总体功能以及架构分析,提出了一种任务调度算法模型,即结合遥感数据处理先验值的动态双向匹配调度算法。该任务调度模型是由面向任务队列模型和面向计算节点队列模型两个部分组成:在结合先验值的情况下,一方面面向任务时考虑任务等待时间和任务量大小等来确定任务队列;另一方面面向计算资源时,在动态获取计算资源负载率的情况下,形成一个计算资源队列;将最优计算资源匹配给优先级最高的任务,从而完成任务和计算资源的动态双向匹配。(2)设计并实现了一种动态切换任务调度算法的切换策略在集群处理系统的优化过程中会出现新的任务调度算法,但是随着集群处理系统处理的任务,环境的不同,新的算法不一定适合于所有的运行场景,而以往的一些调度算法有可能会适用于某些场景,根据集群系统处理任务或者场景的不同,合理的切换不同的任务调度算法,使集群系统能够正常高效的运行。本文设计并实现了一种动态切换任务调度算法的切换策略,根据任务调度算法的特征值提取,找到对该任务调度算法影响因子最大的特征值,进行调度算法的切换,增加了集群系统的灵活性。(3)将提出的结合遥感数据处理先验值的动态双向匹配调度算法和设计的动态切换任务调度算法策略运用到遥感卫星产品集群生产系统当中,在通过大量的实验验证后,实验结果表明本文所提出的任务调度算法能提高系群系统的性能,也即提高了计算节点的利用率、缩短遥感数据的处理时间、保障集群系统可靠性。
【学位授予单位】：河南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP79;TP301.6

【参考文献】

中国期刊全文数据库 前10条

1 郑晓薇;项明;张大为;刘青昆;;基于节点能力的Hadoop集群任务自适应调度方法[J];计算机研究与发展;2014年03期

2 许丞;刘洪;谭良;;Hadoop云平台的一种新的任务调度和监控机制[J];计算机科学;2013年01期

3 郑逢斌;张哲;余涛;赖积保;徐辉;张谦;;一种支持多任务高效处理的遥感产品生产线架构研究[J];计算机科学;2012年S3期

4 吴煜祺;曾国荪;曾媛;;云计算环境下调度算法的趋势分析[J];微电子学与计算机;2012年09期

5 李新;贾智平;鞠雷;赵衍恒;宗子良;;一种面向同构集群系统的并行任务节能调度优化方法[J];计算机学报;2012年03期

6 刘少伟;孔令梅;任开军;宋君强;邓科峰;冷洪泽;;云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略[J];计算机学报;2011年11期

7 卓家靖;孟晨;;任务与资源双向匹配的动态任务调度策略研究[J];计算机工程与应用;2010年13期

8 樊兴;张国平;夏学知;;一种实现动态负载均衡的多机情报并行处理方法[J];解放军理工大学学报(自然科学版);2009年06期

9 龚跃;张真真;黄小珂;刘建军;;基于动态双向优先级的任务分配与调度算法[J];计算机应用;2009年04期

10 熊泽时;李代平;;一种有效的动态任务分配方法[J];计算机技术与发展;2007年04期

中国硕士学位论文全文数据库 前1条

1 张勇;分布式系统中处理机的任务调度算法研究[D];江南大学;2008年

，

本文编号：1153503