基于延迟调度策略的reduce调度优化算法

发布时间：2018-03-21 19:26

  本文选题：reduce任务　切入点：数据本地性　出处：《计算机应用研究》2017年07期 　论文类型：期刊论文

【摘要】：在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。针对Hadoop架构中reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的reduce任务调度优化算法,通过提高reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的early shuffle阶段,使用多级延迟调度策略来提高reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析。实验结果表明,该算法明显减少了作业执行时间,提高了集群的作业吞吐量。
[Abstract]:In large scale Hadoop cluster, good task scheduling strategy can improve data localization and reduce network transmission overhead. It is very important to reduce job execution time and improve the throughput of cluster jobs. Aiming at the problem of low data localization of reduce tasks in Hadoop architecture, a scheduling optimization algorithm for reduce tasks based on delay scheduling strategy is proposed. The algorithm reduces job execution time and improves job throughput by improving the data nativeness of the reduce task. The algorithm is used in the early shuffle phase of the Hadoop architecture. The multilevel delay scheduling strategy is used to improve the data locality of reduce tasks. Finally, the scheduling algorithm is implemented by rewriting native fair scheduler code, and compared with the native fair scheduler. The experimental results show that, The algorithm obviously reduces the job execution time and improves the job throughput of the cluster.
【作者单位】： 武汉理工大学计算机科学与技术学院;
【基金】：湖北省自然科学基金资助项目(2013CFB351)
【分类号】：TP301.6

【相似文献】

相关期刊论文 前10条

1 王];郑树琴;;调度策略在并行机调度仿真的应用[J];机械管理开发;2013年01期

2 王浩,钟玉琢;一种新的基于流合并的调度策略[J];计算机学报;2001年03期

3 张丽晓,袁立强,徐炜民;基于任务类型的集群调度策略[J];计算机工程;2004年13期

4 宁凝;钱省三;孟志雷;;带有工艺约束的并行多机调度策略[J];工业工程;2008年02期

5 刘宴兵;李秉智;幸云辉;;宽带路由器输入排队调度策略的综合研究[J];计算机科学;2002年03期

6 杨祥茂;谭曦;;基于网络资源消费者模型的调度策略[J];计算机科学;2003年09期

7 黄敏;姚正林;刘金刚;;网络QoS调度策略的分析与研究[J];计算机工程与应用;2006年29期

8 方泳;袁召云;;环行穿梭车调度策略的仿真研究[J];物流技术与应用;2012年04期

9 胡敏,陶洋;基于网络配置管理的调度策略分析[J];数字通信;1999年04期

10 王振凯,刘斌,徐光yP;核心无状态虚拟时钟调度策略[J];清华大学学报(自然科学版);2003年01期

相关会议论文 前10条

1 胡子敬;李红燕;;一种资源共享情况下的连续查询算子调度策略[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

2 林志红;;照口水电厂优化调度策略的分析[A];福建省科学技术协会第八届学术年会分会场——提高水电站水库调度技术 推进海西经济建设研讨会论文集[C];2008年

3 黄锦涛;何加铭;陈平;贾德祥;;基于移动中间件抽象层调度策略研究[A];浙江省电子学会2010学术年会论文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大规模单机静态调度的终端约束滚动策略[A];第二十二届中国控制会议论文集（下）[C];2003年

5 赵千川;郑大钟;;一类HDS的事件反馈型最优调度策略[A];1996年中国控制会议论文集[C];1996年

6 赵千川;郑大钟;;CLB调度策略的性能估计[A];1998年中国控制会议论文集[C];1998年

7 方剑;席裕庚;;动态环境下的Job Shop周期性滚动调度策略[A];1996中国控制与决策学术年会论文集[C];1996年

8 淡图南;朱立平;颜纪迅;;一种基于时间触发的安全关键操作系统混合调度策略[A];全面建成小康社会与中国航空发展——2013首届中国航空科学技术大会论文集[C];2013年

9 郭红星;彭嘉丽;盛涛;田婷;张爱华;;无线多用户视频流中支持内容感知的包调度策略[A];第四届和谐人机环境联合学术会议论文集[C];2008年

10 李茂增;王丹;杜东明;;一种数据流查询操作符的调度策略[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

相关重要报纸文章 前1条

1 戈;国华集群负载优化系统具备八项功能[N];电脑商报;2007年

相关博士学位论文 前8条

1 周浏阳;网络控制系统中调度策略的设计与延时的处理[D];哈尔滨工业大学;2015年

2 Rabee Furkan Hassan Saleh;[D];电子科技大学;2015年

3 张晔;基于模块的调度策略及其对多处理器系统的支持[D];中国科学技术大学;2009年

4 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年

5 何忠贺;切换服务网络的稳定性及交通信号控制应用[D];北京工业大学;2013年

6 王文乐;基于替代/补偿的实时事务处理策略研究[D];江西财经大学;2013年

7 王书举;车辆控制系统局域网络（CAN）调度策略研究[D];东北大学;2011年

8 张金艺;可重构SoC DFT架构与TLB测试调度策略研究[D];上海大学;2009年

相关硕士学位论文 前10条

1 丁富淮;嵌入式Linux系统的二级调度策略优化技术及应用[D];苏州大学;2015年

2 成先镜;公共自行车两阶段调度策略与模型及求解方法研究[D];南京师范大学;2015年

3 赵金涛;虚拟单元制造中考虑随机扰动的多级动态稳健调度策略研究[D];江苏科技大学;2015年

4 张晏;OpenStack的拓扑可视化监控技术研究与实现[D];电子科技大学;2014年

5 殷洪海;云环境下基于改进蚁群算法的资源调度策略[D];电子科技大学;2014年

6 王润泽;CPU与GPU混合虚拟化资源高效调度策略[D];上海交通大学;2015年

7 童毅;基于MapReduce模型的云平台调度策略优化研究[D];南京邮电大学;2015年

8 苏孝明;考虑大规模间歇性能源接入的调度策略研究[D];华北电力大学;2015年

9 王炳旭;基于IaaS云平台的Hadoop资源调度策略研究[D];北京交通大学;2016年

10 薛娜;复合加权调度算法在IaaS层中的稳定性优化研究[D];昆明理工大学;2016年

，

本文编号：1645215