异构Spark集群下自适应任务调度策略

发布时间：2017-10-08 20:47

  本文关键词：异构Spark集群下自适应任务调度策略

  更多相关文章： Spark平台 异构集群 自适应 任务调度 监测 权值

【摘要】：Spark是一种基于内存的类Hadoop MapReduce高效大数据处理平台,但其默认的任务调度策略在异构Spark集群下未考虑到节点的能力差异,降低了系统性能。为此,提出一种基于异构Spark集群的自适应任务调度策略。该策略通过监测节点的负载及资源利用率,分析监测得到的参数,自适应动态调整节点任务分配权值。实验结果表明,在异构节点情况下,该策略在作业完成时间、节点工作状态及资源利用率方面的性能均优于默认的任务调度策略。
【作者单位】： 中国科学技术大学自动化系;
【关键词】： Spark平台 异构集群 自适应 任务调度 监测 权值
【基金】：国家自然科学基金资助项目(61174062)
【分类号】：TP311.13
【正文快照】： 断更新换代,Spark集群很容易产生异构性。由于异1概述构集群下各节点计算能力不一致,因此同一任务分近年来,大数据的普及使得大数据计算平台配在不同节点上将会对节点负载造成不同的影响。Spark[1]备受关注。Spark是提出的继Hadoop[2]后的默认的Spark任务调度方式没有考虑集群

【相似文献】

中国期刊全文数据库 前10条

1 刘心松,陈勇,刘艳红;一种启发式任务调度策略[J];电子学报;1992年02期

2 晏燕;引入任务满意度探讨任务调度策略[J];福建电脑;2004年12期

3 吴小惠;;分布式网络爬虫系统的任务调度策略改进[J];上饶师范学院学报;2010年03期

4 苏蕊,徐炜民,钱晓竞;基于双向匹配模型的任务调度策略的研究[J];计算机工程与设计;2005年08期

5 王朋;;云计算环境下任务调度策略研究[J];计算机与现代化;2013年07期

6 吴荣华;邵时;杨早;;基于中断的实时任务调度策略[J];计算机应用与软件;2007年01期

7 王永贵;张伟;韩瑞莲;;云环境下绿色任务调度策略[J];计算机工程与应用;2012年34期

8 徐露露;陈俊;冯钟葵;李安;;一种卫星地面系统中实现任务调度策略可配置的方法[J];遥感信息;2012年06期

9 高强;;一种结合优先级和QoS的任务调度策略[J];现代计算机(专业版);2013年01期

10 谢长生,马进德,黄浩;基于μC__OS-II的任务调度策略研究[J];计算机工程与科学;2004年08期

中国硕士学位论文全文数据库 前10条

1 薛景文;基于免疫算法的云计算任务调度策略研究[D];太原理工大学;2013年

2 吴钧超;基于云用户应用评估的云平台任务调度策略研究[D];哈尔滨工业大学;2013年

3 杨焕;云计算环境下任务调度策略的研究[D];河南大学;2013年

4 王芳;云计算环境下任务调度策略的研究[D];内蒙古农业大学;2015年

5 唐小龙;基于PVM的任务调度策略的研究与实现[D];中南大学;2002年

6 吴世山;面向节能的云计算任务调度策略研究[D];哈尔滨工业大学;2013年

7 张陶;云计算环境下节能任务调度策略研究[D];新疆大学;2013年

8 黎煌达;信息物理融合系统优化调度算法的研究[D];广东工业大学;2015年

9 孙世明;Linux集群系统任务调度策略的研究与设计[D];河海大学;2006年

10 李春豹;企业IT闲散资源整合系统设计与实现[D];电子科技大学;2013年

，

本文编号：996198