一种基于动态资源采集的Hadoop作业调度算法

发布时间：2020-02-26 03:55

【摘要】：为了克服Hadoop中基于槽的资源模型对集群资源的浪费,提高Hadoop集群的资源利用率,提出了一种基于动态资源采集的Hadoop作业调度算法.通过在作业运行过程中动态采集部分任务的CPU,内存和IO的资源利用率来评估同一作业中其他任务的资源需求,然后根据任务的实际资源需求以及TaskTracker节点的负载情况进行任务调度,以充分利用各TaskTracker节点的计算资源.通过对比实验表明该调度算法能明显提高集群的资源利用率,缩短作业的完成时间.

【相似文献】

相关期刊论文 前10条

1 陶永才;薛正元;石磊;;基于MapReduce的贝叶斯垃圾邮件过滤机制[J];计算机应用;2011年09期

2 代栋;周学海;杨峰;王超;;一种基于模糊推理的Hadoop异构机群自动配置工具[J];中国科学院研究生院学报;2011年06期

3 梁正友;孙宇;;基于ProActive的容错调度器设计与实现[J];计算机应用;2008年02期

4 黄志兰;丁圣勇;杨国良;罗颂锋;;基于MapReduce的PCA异常流量检测系统实现[J];电信科学;2010年06期

5 徐娟娟;朱成亮;;NOSQL在WEB日志分析中的应用[J];中国新技术新产品;2011年10期

6 辛洁;崔志明;赵朋朋;张广铭;鲜学丰;;基于MapReduce虚拟机的Deep Web数据源发现方法[J];通信学报;2011年07期

7 石海潜;陈荦;刘义;;一种网络空间数据集成访问方法[J];兵工自动化;2011年10期

8 王雪莲;郑晓薇;刘青昆;;LVS集群负载调度机制的研究[J];中国科技信息;2011年05期

9 金嘉晖;罗军舟;宋爱波;东方;;基于数据中心负载分析的自适应延迟调度算法[J];通信学报;2011年07期

10 丁敏敏;贾永库;;基于插件机制的网格作业调度研究[J];计算机工程;2010年21期

相关会议论文 前3条

1 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

2 王琴;曾文华;史文，

本文编号：2582912