基于hadoop的时隙优化任务调度策略研究

发布时间：2018-02-09 23:11

  本文关键词： 云计算 hadoop平台 SDN架构 任务调度 时隙策略 负载均衡　出处：《西北工业大学学报》2017年01期 　论文类型：期刊论文

【摘要】：针对分布式云计算平台hadoop任务调度中由于网络时延而导致的调度不平衡问题,提出一种基于时隙优化的任务调度算法。充分参考当前网络条件,将其作为任务调度的重要参考依据,利用SDN对网络带宽的管理能力,根据时隙策略分配带宽,结合局部性原理决定将任务分派到本地还是低负载的其他节点,从全局角度保证任务本地化比例较高的前提下以最优的方式高效分派任务,以提高系统整体的任务处理能力。依据算法设计调度器设计并进行实验,实验结果验证了算法的调度质量。
[Abstract]:In order to solve the problem of scheduling imbalance caused by network delay in hadoop task scheduling of distributed cloud computing platform, a task scheduling algorithm based on slot optimization is proposed, with full reference to the current network conditions. Taking it as an important reference for task scheduling, using the ability of SDN to manage network bandwidth, allocating bandwidth according to slot policy, and combining the principle of locality, we decide whether to assign tasks to other nodes with low load or local load. In order to improve the task processing ability of the whole system, the scheduler is designed according to the algorithm and the experiment is carried out under the premise of ensuring the high proportion of task localization from the global perspective, in order to assign tasks efficiently and efficiently in the optimal way, so as to improve the task processing ability of the system. Experimental results verify the scheduling quality of the algorithm.
【作者单位】： 西北工业大学电子信息学院;西北工业大学自动化学院;
【基金】：国家自然科学基金(61471299)资助
【分类号】：TP301.6

【相似文献】

相关期刊论文 前10条

1 孟宪福;基于优先级的任务调度与负载均衡模型研究[J];小型微型计算机系统;2005年09期

2 廖晓文;廖京盛;;时间触发模式的任务调度与分解策略[J];单片机与嵌入式系统应用;2006年07期

3 樊晓香;;任务调度问题机制设计[J];计算机技术与发展;2008年07期

4 黄漾;;分布式环境下任务调度探讨[J];电脑知识与技术;2011年19期

5 陈军;谢立;孙钟秀;;分布式任务调度研究的新趋向[J];计算机研究与发展;1990年04期

6 陈艇;;基于混沌最优博弈的网络任务调度算法仿真[J];计算机仿真;2013年11期

7 李陶深;李明丽;张希翔;;云计算环境下任务调度技术的研究进展[J];玉林师范学院学报;2014年02期

8 刘雄文,陆鑫达;元计算环境中任务调度的深入分析[J];计算机工程与应用;2002年17期

9 罗红,慕德俊,邓智群,王晓东;网格计算中任务调度研究综述[J];计算机应用研究;2005年05期

10 张国海;江平宇;周光辉;;多设计任务调度的非合作博弈研究[J];西安交通大学学报;2007年03期

相关会议论文 前10条

1 刘培培;李连;丛海鹏;谢勇;;基于多代理协商机制的任务调度系统研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（下）[C];2006年

2 张磊;马军;;描述短时资源混杂占用型任务调度的数学模型与算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

3 王军;巢玉强;彭钊轶;;基于任务调度的电能量计量采集系统的设计与实现[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年

4 张志强;王万玉;王建平;李凡;袁刚;;多站多星任务调度优化模型研究[A];第二十三届全国空间探测学术交流会论文摘要集[C];2010年

5 韩云;于炯;张伟;王命全;;基于负载均衡的任务调度改进算法[A];2010年全国开放式分布与并行计算机学术会议论文集[C];2010年

6 王全民;王靓;许智宏;;网格环境中基于蚁群算法的批量任务调度的研究[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集（上）[C];2006年

7 张晓云;岳继光;杨麟祥;;零星任务调度在多控制任务系统中的应用[A];第16届中国过程控制学术年会暨第4届全国故障诊断与安全性学术会议论文集[C];2005年

8 刘宇;刘玉荣;周冰;;基于WCF的环境减灾星座运控任务调度系统[A];第二十五届全国空间探测学术研讨会摘要集[C];2012年

9 黄文泽;邵峰晶;孙仁诚;;基于双总线安全结构的操作系统任务调度[A];2009全国计算机网络与通信学术会议论文集[C];2009年

10 杨舰;黄道平;李小亚;;GDCS任务调度的SPN模型研究[A];第二十六届中国控制会议论文集[C];2007年

相关重要报纸文章 前1条

1 王波;Linux与服务器集群技术[N];中国计算机报;2002年

相关博士学位论文 前10条

1 赵凡宇;航天器多目标观测任务调度与规划方法研究[D];北京理工大学;2015年

2 孙明明;云计算平台上任务调度算法的研究[D];中国科学技术大学;2015年

3 郭力争;云计算环境下资源部署与任务调度研究[D];东华大学;2015年

4 黄万伟;基于服务属性区分的可重构任务调度研究[D];解放军信息工程大学;2009年

5 瞿进;可重构系统软硬功能划分及任务调度技术研究[D];解放军信息工程大学;2011年

6 周双娥;实时分布容错系统的任务调度技术研究[D];哈尔滨工程大学;2003年

7 柴亚辉;基于FPGA的高性能计算架构硬件任务与资源模型研究[D];上海大学;2012年

8 金刚;云环境下任务调度关键问题研究[D];吉林大学;2015年

9 耿晓中;基于多核分布式环境下的任务调度关键技术研究[D];吉林大学;2013年

10 陈锡明;基于NOW的任务调度和负载平衡方法研究[D];电子科技大学;2000年

相关硕士学位论文 前10条

1 张巧龙;云计算环境下任务调度问题的研究[D];江南大学;2015年

2 徐彬;云环境下基于动态融合遗传蚁群算法的DAG任务调度研究[D];南京信息工程大学;2015年

3 钟潇柔;基于动态遗传算法的云计算任务节能调度策略研究[D];哈尔滨工业大学;2015年

4 李婷;分布式爬虫任务调度与AJAX页面抓取研究[D];电子科技大学;2015年

5 赵彬;基于任务调度和动态资源调整的云计算节能机制及能效分析[D];广西大学;2015年

6 杨镜;基于人工免疫系统的云平台动态任务调度[D];电子科技大学;2014年

7 王一冰;基于ASP.NET的任务调度管理系统的设计与实现[D];电子科技大学;2013年

8 白晶晶;云环境下安全和可靠性驱动的工作流任务调度研究[D];新疆大学;2015年

9 吕信科;基于多核阵列的任务调度技术研究[D];电子科技大学;2015年

10 温宇昂;单阶段差异化多机可拆分任务调度优化方法[D];东北大学;2013年

，

本文编号：1499085