基于加速收敛蜂群算法的资源感知调度器

发布时间：2018-01-18 03:00

本文关键词：基于加速收敛蜂群算法的资源感知调度器　出处：《计算机工程与科学》2016年08期 　论文类型：期刊论文

【摘要】：为了能有效处理海量数据,进行关联分析、商业预测等,Hadoop分布式云计算平台应运而生。但随着Hadoop的广泛应用,其作业调度方面的不足也显现出来,现有的多种作业调度器存在参数设置复杂、启动时间长等缺陷。借助于人工蜂群算法的自组织性强、收敛速度快的优势,设计并实现了能实时检测Hadoop内部资源使用情况的资源感知调度器。相比于原有的作业调度器,该调度器具有参数设置少、启动速度快等优势。基准测试结果表明,该调度器在异构集群上,调度资源密集型作业比原有调度器快10%~20%左右。
[Abstract]:In order to deal with large amounts of data effectively, business prediction and other Hadoop distributed cloud computing platform emerge as the times require, but with the wide application of Hadoop. The shortcomings of the job scheduling are also revealed. The existing multiple job schedulers have the disadvantages of complex parameter setting and long start-up time. The advantages of artificial bee colony algorithm are strong self-organization and fast convergence speed. This paper designs and implements a resource aware scheduler which can detect the internal resource usage of Hadoop in real time. Compared with the original job scheduler, the scheduler has fewer parameters. The benchmark test results show that the scheduler can schedule resource-intensive jobs about 10% or 20% faster than the original scheduler on heterogeneous clusters.
【作者单位】：武汉理工大学计算机科学与技术学院;湖北省咸宁市公安局;
【基金】：国家自然科学基金(61303029) 教育部留学回国启动基金([2012]1707) 湖北省自然科学基金(2014CFB836)
【分类号】：TP18;TP338.8
【正文快照】： 1引言随着信息技术的蓬勃发展与移动互联的普及,各行各业每天产生海量的数据。为了能及时处理这些海量信息,具有高可扩展性、高容错性,能及时处理数据密集型计算任务的分布式平台——Ha-doop应运而生。基于分布式的Hadoop,实现了MapReduce编程模型和分布式文件系统HDFS(Hadoop

【参考文献】