面向MapReduce的自适应延迟调度算法

发布时间：2019-03-16 16:41

【摘要】：MapReduce已经成为主流的海量数据处理模式,调度作为其中的关键环节已受到业界的广泛关注。但是,已有的调度算法难以达到公平性和数据本地性之间的平衡,提出一种动态自适应的延迟调度算法,针对公平延迟调度算法静态设置延迟时间的不足,根据节点的释放速度动态调整作业的延迟等待时间,避免了节点释放速度快时,作业因静态延迟时间而进行的无效等待,从而减少了完成整个作业的响应时间。通过对基于Hadoop平台实现的原型系统的文本排序实验测试表明,自适应的延迟调度算法相比已有的延迟调度算法在作业响应时间方面提升5%～8%。
[Abstract]:MapReduce has become the mainstream mode of massive data processing, and scheduling, as a key link, has been widely concerned by the industry. However, the existing scheduling algorithms are difficult to achieve the balance between fairness and data locality. A dynamic adaptive delay scheduling algorithm is proposed, which aims at the deficiency of static setting delay time in fair delay scheduling algorithm. According to the release speed of the node, the delay waiting time of the job is dynamically adjusted, which avoids the invalid waiting of the job due to the static delay time when the node release speed is fast, and thus reduces the response time of completing the whole job. The text sorting experiment of the prototype system based on Hadoop platform shows that the adaptive delay scheduling algorithm improves the job response time by 5% / 8% compared with the existing delay scheduling algorithm.
【作者单位】： 国防科学技术大学计算机学院;
【基金】：核高基项目资助项目(2012zx01040001)
【分类号】：TP393.09;TP301.6

【参考文献】

相关硕士学位论文 前1条

1 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年

【共引文献】

相关期刊论文 前10条

1 徐鹏;陈思;苏森;;互联网应用PaaS平台体系结构[J];北京邮电大学学报;2012年01期

2 蒋娟;姜瑜;;云计算与农村信息化建设[J];电脑知识与技术;2011年32期

3 姜华杰;陈俊杰;强彦;;基于QoS的云计算资源分配算法[J];电脑开发与应用;2012年08期

4 王新春;钱向东;;基于并发执行时间配额控制的任务调度框架[J];信息技术与标准化;2012年11期

5 俞华锋;;基于效益函数的云计算调度算法的研究[J];科技信息;2011年03期

6 朱健琛;徐洁;鲁珂;;一种类欧氏距离-负载平衡的云任务调度算法[J];计算机仿真;2012年06期

7 吴文豪;;云计算在电信运营商互联网数据中心建设中的应用[J];科技风;2012年02期

8 张磊;晁爱农;郭利锋;;某演练评估系统中云计算任务调度研究[J];计算机仿真;2012年07期

9 张瑞藜;;基于微粒群算法的云计算资源调度策略的研究[J];黑龙江科技信息;2012年23期

10 蓝昊慧;;云计算在Web结构挖掘算法中的运用研究[J];计算机时代;2012年10期

相关博士学位论文 前1条

1 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年

相关硕士学位论文 前10条

1 申志强;基于云计算的IPv6协议应用研究[D];东北财经大学;2010年

2 严格;云计算在区域医疗信息化中的应用研究[D];北京交通大学;2011年

3 石飞燕;数据密集型计算中副本优化机制研究[D];武汉理工大学;2011年

4 郭雷风;农业科研云原型系统设计与应用理论研究[D];中国农业科学院;2011年

5 徐风;移动公司云计算平台原型的构建与测试[D];中南大学;2010年

6 陈艳金;MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进[D];华南理工大学;2011年

7 施杨斌;云计算环境下一种基于虚拟机动态迁移的负载均衡算法[D];复旦大学;2011年

8 王文洲;基于云计算的电信运营商IDC的构建[D];复旦大学;2011年

9 陈璐;基于云计算的海量数据存储技术的研究及应用[D];武汉科技大学;2011年

10 惠新华;云环境下作业调度优化的方法研究[D];辽宁大学;2011年

【二级参考文献】

相关期刊论文 前10条

1 马学彬;温涛;郭权;王刚;;一种基于遗传算法的网格任务调度算法[J];东北大学学报(自然科学版);2007年07期

2 李立;;GridSim网格仿真工具研究[J];电脑知识与技术(学术交流);2007年13期

3 罗红,慕德俊,邓智群,王晓东;网格计算中任务调度研究综述[J];计算机应用研究;2005年05期

4 田翠华;常桂然;金海月;游新冬;;网格模拟技术分析[J];计算机应用研究;2007年02期

5 刘鹏;赵伟;;反垃圾邮件网格清扫网络[J];软件世界;2006年13期

6 高曙;郑德;;一种基于蚁群算法的任务调度方法[J];微计算机信息;2007年06期

7 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期

8 翟东升;李莉;;Multi-Agent系统基于优先级的负载均衡任务调度模型[J];现代图书情报技术;2007年08期

9 郭玉华;;基于GridSim的网格调度应用研究[J];邢台职业技术学院学报;2007年05期

10 刘封;;谈分布式计算模型MapReduce与搜索引擎系统[J];知识经济;2007年08期

相关会议论文 前1条

1 秦宇强;冯秀芳;余雪丽;;网格计算中保证QoS的Agent技术[A];全国ISNBM学术交流会暨电脑开发与应用创刊20周年庆祝大会论文集[C];2005年

相关硕士学位论文 前2条

1 陈莹;基于遗传算法的网格任务调度研究及实现[D];四川大学;2006年

2 张涛;基于网格计算经济模型的资源调度算法研究[D];江南大学;2006年

【相似文献】

相关期刊论文 前10条

1 肖健梅;船舶航向自适应控制算法及仿真[J];计算机辅助工程;1996年03期

2 陈华 ,丁杰伟;自适应坐标格绘制的实现[J];电脑编程技巧与维护;2000年12期

3 吴根清,郑方,金凌,吴文虎;一种在线递增式语言模型自适应方法[J];中文信息学报;2002年01期

4 尉永青,曲霖洁;基于网络的自适应测试系统设计[J];山东师范大学学报(自然科学版);2003年02期

5 丛春瑜,刘家勋;网络自适应教育系统的设计与开发[J];成都教育学院学报;2004年09期

6 张晓东,陈锋,杜凯;一种印章图像的自适应特征提取算法[J];哈尔滨工业大学学报;2004年08期

7 丛春瑜,刘家勋,于滨;一个基于Web的自适应学习系统[J];微型电脑应用;2004年09期

8 程国达,邹亚会,朱静;一种自适应信息集成方法[J];计算机应用;2005年03期

9 蒋刚,肖建;大数据条件下自适应Huffman算法潜在问题初探[J];信息与电子工程;2005年01期

10 王建华,朱元昌,王春平,贾洪涛;自适应腐蚀模板在球形目标分割中的应用及实现[J];兵工学报;2005年04期

相关会议论文 前10条

1 刘程远;王小铭;;基于自适应融合系数矩阵的图像隐藏算法[A];第十二届全国图象图形学学术会议论文集[C];2005年

2 李琪林;甄威;周明天;;一种适用于Master-Worker应用的动态统一调度算法的研究[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

3 梁韵基;周兴社;於志文;;面向老年人的自适应提醒服务系统[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

4 王小静;杨高波;刘争艳;杜青松;;一种量化误差补偿的压缩域H.264/AVC视频水印算法[A];第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集[C];2009年

5 李文敬;黄容伟;廖伟志;;基于相对梯度的自适应图像分形压缩并行算法[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年

6 李亮;陈志强;邢宇翔;;基于自适应非均匀网格模型的CT重建算法研究[A];2004年CT和三维成像学术年会论文集[C];2004年

7 张梁斌;奚李峰;范申;;基于自适应门限四叉树的分形图像压缩新方法[A];第十二届全国图象图形学学术会议论文集[C];2005年

8 栾秋红;林克正;;基于能量量化自适应数字音频水印算法[A];黑龙江省计算机学会2007年学术交流年会论文集[C];2007年

9 杨樊;韩艳丽;;一种基于极值的自适应均值滤波算法[A];2006年全国光电技术学术交流会会议文集（D 光电信息处理技术专题）[C];2006年

10 彭丰平;鲍苏苏;;基于CT序列图像肝脏及其管道的分割[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

相关重要报纸文章 前6条

1 伍裕标;画出心中的“理想”曲线[N];中国电脑教育报;2002年

2 黄智军;RSA提供金融身份安全产品[N];计算机世界;2007年

3 岳轶群 翁敬农;LBS应用的特点[N];中国测绘报;2006年

4 庆军 宏宇 宪春;海信网络科技　领先智能交通[N];中华工商时报;2004年

5 天津 王守银;根据屏幕分辨率调整应用程序[N];电脑报;2001年

6 ;飞行器气动预研设计的有力工具[N];中国航空报;2005年

相关博士学位论文 前10条

1 彭健;多类小字符集自适应字符识别技术及系统的研究[D];重庆大学;2002年

2 童立靖;实时系统的自适应进程调度方法研究[D];中国科学院研究生院（软件研究所）;2005年

3 赵英;基于异步网络环境的自适应时钟同步[D];北京化工大学;2004年

4 单菊林;自适应有限元网格生成算法研究与应用[D];大连理工大学;2007年

5 吉萌;高性能业务路由器系统软件研究[D];华中科技大学;2006年

6 赵宏庆;若干细分造型方法与应用研究[D];西北工业大学;2006年

7 张洪梅;三维六面体网格自适应生成算法研究及其应用[D];山东大学;2007年

8 黎鹤;并行系统中负载调度问题的研究[D];中国科学技术大学;2008年

9 宋乐;异源图像融合及其评价方法的研究[D];天津大学;2008年

10 张菊清;空间几何数据质量控制的理论与方法研究[D];长安大学;2009年

相关硕士学位论文 前10条

1 孙琰;基于小波变换的图像边缘检测技术[D];西北工业大学;2004年

2 史悦;自适应超文本/超媒体学习系统的研究与开发[D];贵州师范大学;2004年

3 孙浩;基于远程教育的自适应测评系统的研究和实现[D];昆明理工大学;2005年

4 周陆俊;计算机辅助车间作业计划研究[D];南京林业大学;2005年

5 唐升;回声隐藏技术的研究[D];西北大学;2006年

6 张树忠;基于Canny理论的彩色图像边缘检测[D];成都理工大学;2006年

7 王二宝;基于802.11广播的车辆网络报警数据分发技术研究[D];西安电子科技大学;2007年

8 左永利;自适应入侵容忍数据库体系结构及其关键技术研究[D];重庆大学;2007年

9 唐娟;不同环境下的时延估计算法及其仿真研究[D];南京信息工程大学;2007年

10 陈t，

本文编号：2441752