基于推测的无响应任务自适应容错调度算法

发布时间：2017-06-26 17:17

  本文关键词：基于推测的无响应任务自适应容错调度算法，由笔耕文化传播整理发布。

【摘要】：已有的基于静态的执行失败判定时间阈值的无响应任务容错调度算法,不能适应大数据处理中心动态的集群负载。针对该问题,提出判定无响应任务执行失败时间阈值自适应调整方法。基于该模型,设计了自适应的无响应任务容错调度算法(AFTS)。AFTS算法通过分析作业规模、单个任务大小和剩余作业推测执行时间等参数,自适应地调整无响应任务判定执行失败的时间阈值,以减少无响应任务对整体作业执行效率的影响,降低作业响应时间。基于开发的原型系统,验证了自适应判定方法,测试了算法的性能。实验结果表明,AFTS算法在作业响应时间等方面优于已有的无响应任务容错调度算法。
【作者单位】： 北京航天飞行控制中心;
【关键词】： 大数据 容错调度 自适应 推测的 MapReduce
【基金】：部委级重点项目资助
【分类号】：TP311.13
【正文快照】： 本文受部委级重点项目资助。1引言随着科学技术的快速发展,科学研究、互联网服务、电子商务等多领域均呈现出数据量激增的趋势,如何对大数据进行高效处理成为亟需解决的问题。为了应对大数据处理的挑战,Google提出了MapReduce计算模型[1,2],利用ApacheHadoop对MapReduce实现了

【相似文献】

中国期刊全文数据库 前10条

1 向哲,钟玉琢,冼伟铨;一种基于周期合并策略的流调度算法[J];软件学报;2001年08期

2 伊鹏,张兴明,郭云飞;基于输入排队的调度算法[J];计算机工程;2003年19期

3 易云山,桂志波;分组网络中包调度算法研究[J];江苏通信技术;2004年03期

4 任艳颖,张文军,王彬;无线调度算法[J];计算机工程;2004年15期

5 刘越洋,席裕庚;基于两步滚动的单机调度算法研究[J];计算机工程;2004年24期

6 杨梅樾;马祥杰;;输入排队中调度算法的研究[J];信息工程大学学报;2006年02期

7 曾东海;刘海;金士尧;;集群负载调度算法性能评价[J];计算机工程;2006年11期

8 孙力娟;李超;张登银;王汝传;;低速网络中实时补偿型差额循环调度算法的设计和实现[J];电子与信息学报;2006年10期

9 刘东;张春元;;软件容错模型中反向与正向调度算法研究[J];计算机工程与科学;2007年09期

10 何琨;赵勇;黄文奇;;基于任务复制的分簇与调度算法[J];计算机学报;2008年05期

中国重要会议论文全文数据库 前10条

1 彭洪;涂凍生;;面向操作的调度算法[A];1994中国控制与决策学术年会论文集[C];1994年

2 罗豪杰;许都;;IEEE 802.16 MAC层上行调度算法[A];四川省通信学会2007年学术年会论文集[C];2007年

3 张遵福;李乐民;;支持QoS的调度算法设计[A];2006中国西部青年通信学术会议论文集[C];2006年

4 姚建波;竺小松;李晶晶;;非对称通信环境中两种广播调度算法的分析与比较[A];中国通信学会第六届学术年会论文集（上）[C];2009年

5 景维鹏;吴智博;刘宏伟;董剑;;一种支持任务依赖关系容错调度算法[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年

6 李琪林;甄威;周明天;;一种适用于Master-Worker应用的动态统一调度算法的研究[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

7 吕锋;涂晓东;;高性能交换结构调度算法的研究[A];四川省通信学会2006年学术年会论文集（二）[C];2006年

8 赵尔敦;肖静;;无线网络中基于信道状态预测的调度算法[A];2006全国复杂网络学术会议论文集[C];2006年

9 殷洁;;城市光网光纤自动调度算法研究和应用[A];中国通信学会信息通信网络技术委员会2011年年会论文集（下册）[C];2011年

10 陈平;王柏;徐六通;吴斌;王艳辉;;电信社群网络中介度的网格并行算法及调度算法[A];2006年全国通信软件学术会议论文集[C];2006年

中国重要报纸全文数据库 前1条

1 张建辉 吴松;TD—SCDMA积跬步 HSDPA以致千里[N];通信产业报;2005年

中国博士学位论文全文数据库 前10条

1 刘晓锋;可扩展多级多平面交换网络及调度算法研究[D];电子科技大学;2015年

2 马丹;任务间相互依赖的并行作业调度算法研究[D];华中科技大学;2007年

3 田冲;无线网络跨层调度算法研究[D];山东大学;2009年

4 黄平;分布式交换系统队列结构及调度算法研究[D];华中科技大学;2006年

5 刘惠;嵌入式系统节能调度算法研究[D];西安电子科技大学;2011年

6 赵明宇;集群系统的调度算法研究[D];哈尔滨工业大学;2007年

7 吴刚;对低功耗进程调度算法的研究[D];复旦大学;2006年

8 牛进平;3G长期演进系统中调度算法和干扰抑制技术研究[D];西安电子科技大学;2014年

9 罗威;分布式实时容错调度算法研究[D];华中科技大学;2008年

10 展勇;柔性开放车间调度算法研究[D];哈尔滨工程大学;2011年

中国硕士学位论文全文数据库 前10条

1 丁雪飞;纯电动车整车CAN网络实时调度算法的研究[D];辽宁大学;2015年

2 王德龙;Hadoop平台下作业调度算法的研究与改进[D];南京信息工程大学;2015年

3 袁林伟;载波聚合资源分配及调度算法研究[D];西南交通大学;2015年

4 景木均;3GPP LTE系统中基于多目标决策的下行资源调度算法研究与实现[D];西南交通大学;2015年

5 刘盼红;大数据环境下Hadoop作业调度算法的研究[D];河北工程大学;2015年

6 杨轩;高铁无线通信VoIP业务与多业务共存的资源调度算法[D];西南交通大学;2015年

7 陈传庆;基于衰落信道的无线链路调度算法研究[D];曲阜师范大学;2015年

8 陈文龙;Hadoop平台下作业调度方法研究[D];南京理工大学;2015年

9 陈瑜;针对Hadoop集群的节能调度算法研究[D];电子科技大学;2015年

10 朱新新;网络端到端流量的QoS优化技术研究[D];电子科技大学;2014年

  本文关键词：基于推测的无响应任务自适应容错调度算法，，由笔耕文化传播整理发布。

本文编号：486967