基于任务进度感知的异构Hadoop云平台任务调度方案

发布时间：2018-05-09 13:01

  本文选题：Hadoop云平台 + 任务调度　； 参考：《计算机应用研究》2017年10期

【摘要】：针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(straggler)任务;然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当straggler后备任务达到一定阈值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。
[Abstract]:The task scheduling problem in heterogeneous Hadoop cloud computing platform is studied, and the shortcomings of existing conjecture execution scheduling and LATE scheduling schemes are analyzed, and an adaptive task scheduling scheme based on task schedule awareness is proposed. First, according to the current calculation of the task progress on the node, the task is estimated to be approximately completed time and ATEI, so as to determine the straggler task, and then the node is divided into slow node and fast node with a threshold of 25% of the average progress of the node task. When the straggler backup task reaches a certain threshold, it is preferentially assigned to execute in the fast node. The experimental results show that the proposed scheme can allocate tasks reasonably for heterogeneous Hadoop platforms, reduce the task completion time and response delay, and improve the throughput of the platform.
【作者单位】： 重庆邮电大学移通学院计算机科学系;重庆邮电大学计算机科学与技术学院;
【基金】：重庆市教委科学技术研究项目(KJ1502003) 重庆市本科高校“三特行动计划”特殊专业建设项目(渝教高(2013)49号)
【分类号】：TP393.09

【相似文献】

相关期刊论文 前3条

1 谢天宇;曹奇英;;基于Hadoop集群的分布式入侵检测系统的设计与实现[J];微计算机信息;2012年09期

2 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

3 王志力;;云计算下Hadoop平台的搭建与实践[J];中国科技信息;2014年09期

相关硕士学位论文 前8条

1 淦作知;基于Hadoop的大规模中文网站聚类的设计与实现[D];华中师范大学;2016年

2 任福帅;基于Hadoop区域智慧教育云平台研究与应用[D];吉林大学;2016年

3 张兴平;基于Hadoop的微博用户情感分类研究与实现[D];西安电子科技大学;2014年

4 郑天红;基于Hadoop的网络流量分流并行化设计与实现[D];内蒙古大学;2012年

5 孙佳;基于Hadoop的邮件敏感词检测与告警技术研究[D];东华大学;2015年

6 关文斌;基于Hadoop的微博用户及微博影响力排名研究[D];暨南大学;2015年

7 黄兴;基于微博信息分析对旅游景点热度预测系统的设计与实现[D];杭州电子科技大学;2014年

8 吕峰;基于Hadoop海量数据微博系统的设计与实现[D];北京工业大学;2013年

，

本文编号：1866110