一种Hadoop Yarn的资源调度方法研究
本文选题:资源调度 + 蚁群算法 ; 参考:《电子学报》2016年05期
【摘要】:针对Hadoop Yarn资源调度问题,为提高集群作业执行效率,提出一种基于蚁群算法与粒子群算法的自适应Hadoop资源调度算法SRSAPH.SRSAPH中,通过Hadoop Yarn跳通信机制获取负载、内存、CPU速度等属性信息初始化信息素矩阵;同时,将粒子群算法的自我认知能力与社会认知能力引入到蚁群算法,提高算法的收敛速度;此外,根据蚁群算法全局最优解的波动趋势动态调整信息素挥发系数,提高解的精度.实验表明,采用SRSAPH进行资源调度,集群的作业执行时间缩短至少10%.
[Abstract]:Aiming at Hadoop Yarn resource scheduling problem, an adaptive Hadoop resource scheduling algorithm SRSAPH.SRSAPH based on ant colony algorithm and particle swarm optimization algorithm is proposed to improve the efficiency of cluster job execution. The load is obtained by Hadoop Yarn hopping communication mechanism. The memory CPU speed and other attribute information initialize the pheromone matrix; at the same time, the self-cognition and social cognitive ability of particle swarm optimization algorithm are introduced into ant colony algorithm to improve the convergence speed of the algorithm. According to the fluctuation trend of the global optimal solution of ant colony algorithm, the pheromone volatilization coefficient is dynamically adjusted to improve the accuracy of the solution. Experiments show that SRSAPH is used for resource scheduling, and the execution time of cluster jobs is shortened by at least 10%.
【作者单位】: 南京航空航天大学计算机科学与技术学院;香港大学计算机科学与技术系;
【基金】:国家自然科学基金(No.41301407) 江苏省自然科学基金(No.BK20130819)
【分类号】:TP18
【相似文献】
相关期刊论文 前10条
1 周建涛;陆海燕;叶新铭;;面向资源调度的矩阵规范化方法研究[J];中山大学学报(自然科学版);2009年01期
2 夏文明;李国富;;资源调度问题研究综述[J];机电工程;2009年07期
3 林伟伟;齐德昱;;云计算资源调度研究综述[J];计算机科学;2012年10期
4 杨继君;许维胜;黄武军;吴启迪;;基于多灾点非合作博弈的资源调度建模与仿真[J];计算机应用;2008年06期
5 梁金华;;基于仿真网格平台的资源调度算法模拟[J];科技信息;2010年18期
6 薛玉;;云计算环境下的资源调度优化模型研究[J];计算机仿真;2013年05期
7 罗丹;;云计算资源调度算法仿真[J];计算机仿真;2013年07期
8 谢斌;林华;;联合战场资源调度问题综述[J];舰船电子工程;2013年10期
9 林永毅,张智江,廖黛丽,倪凌;电信传输资源及调度一体化管理的研究与实现[J];电信科学;2002年10期
10 吉军;蔚承建;陈胜峰;陈旭;;分散式多工厂资源调度中的一种理性策略[J];计算机应用;2010年11期
相关会议论文 前3条
1 曹东旭;刘明阳;;基于马尔科夫决策链的作战资源调度[A];2014第二届中国指挥控制大会论文集(上)[C];2014年
2 王兵;贾利民;龙慧;郭杜杜;马玉春;;新疆公路网交通事故应急救援资源调度系统设计及应用[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年
3 丛慧芳;王文生;谢能付;;农业信息网格环境中数据传输资源调度方法研究[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年
相关重要报纸文章 前1条
1 本报记者 吴挺;云计算的管理需求显现[N];计算机世界;2009年
相关博士学位论文 前9条
1 王小乐;信息物理融合系统资源调度关键技术研究[D];国防科学技术大学;2014年
2 王力;铁路集装箱中心站关键资源调度优化理论与方法[D];北京交通大学;2014年
3 马满福;基于计算经济的网格资源管理研究[D];西北工业大学;2007年
4 冉泳屹;云环境下基于随机优化的动态资源调度研究[D];中国科学技术大学;2015年
5 徐昕;基于博弈论的云计算资源调度方法研究[D];华东理工大学;2015年
6 徐劲松;SLA约束下的云资源调度关键技术研究[D];南京邮电大学;2013年
7 张静乐;网络环境下协同服务关键技术研究[D];北京科技大学;2011年
8 田国忠;多DAG共享资源调度的若干问题研究[D];北京工业大学;2013年
9 王海威;智能电视操作系统服务性能与资源调度关键技术研究[D];中国科学技术大学;2011年
相关硕士学位论文 前10条
1 王艳平;基于蚁群算法的云计算资源调度研究[D];曲阜师范大学;2015年
2 何兰兰;云环境下基于SLA的优化资源管理机制研究[D];江西理工大学;2015年
3 张扬;基于QPSO-SFLA改进算法的云环境资源调度研究[D];江西理工大学;2014年
4 杨南;藏文舆情云分析平台资源调度优化研究[D];西北民族大学;2015年
5 李超;基于改进粒子群算法的云计算资源调度研究[D];中国矿业大学;2015年
6 郭庆光;基于协同演化算法的云计算资源调度的研究[D];电子科技大学;2014年
7 陈强;载波聚合下的资源调度研究[D];电子科技大学;2014年
8 梁俊杰;基于应用容器的云资源调度研究与实现[D];电子科技大学;2015年
9 赵颖;Hadoop环境下的动态资源管理研究与实现[D];上海交通大学;2015年
10 徐政;基于QoS的LTE资源调度策略研究[D];南京邮电大学;2015年
,本文编号:2102777
本文链接:https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2102777.html