基于Yarn的负载均衡研究

发布时间：2017-12-16 03:04

  本文关键词：基于Yarn的负载均衡研究

  更多相关文章： 负载均衡 Hadoop Yarn Fair Scheduler算法 动态反馈

【摘要】：近年来,计算机行业的数据量以每年翻倍的速度增加,对计算机的计算能力和存储容量提出更高要求,分布式存储和计算技术迅速发展。Hadoop平台的应用最为广泛,Yarn是Hadoop2.0之后的调度机制,其中的调度算法在设计时没有考虑节点的性能差异。但是,现实数据中心的计算设备由于购置时间、硬件与软件配置等方面的原因,计算节点之间一般都存在性能上的差异,容易导致节点间出现“忙闲不均”的现象,影响作业的执行效率。因此在调度模块Yarn上,通过优化调度算法、采用新的调度策略,可以有效缓解Hadoop中负载不均衡的问题,具有重要研究价值。本文首先描述了Hadoop平台的设计与实现过程;在深入研究Hadoop的开源代码的基础上,整理出Hadoop中HDFS、MapReduce、Yarn及Yarn内部的各个调度算法的执行原理,绘制出各部分的运行流程。然后,针对节点性能提出节点的评价指标,综合考虑了节点的硬件配置参数和运行过程中的动态性能指标;将动态性能指标和硬件配置参数加入到Fair Scheduler算法中,实现了根据节点权重分配任务的算法。在Hadoop集群上的实验表明,所提出的节点性能评价指标和对Fair Scheduler调度算法的改进,有效解决了节点的负载均衡问题,整体上提高了作业执行效率。最后,在Fair Scheduler调度算法基础上进一步增加动态反馈机制,形成了动态反馈调度算法。算法的基本过程是:从Map阶段反馈的心跳得到任务的执行情况,将性能差异反馈给资源调度系统,由资源调度系统来调整之后的任务分配。经实验证明,加入了动态反馈后的调度算法对负载均衡问题有了很大的改善。
【学位授予单位】：中国民航大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13;TP301.6

【参考文献】

中国期刊全文数据库 前7条

1 唐玮峰;赵振戟;;Hadoop的负载均衡调度算法研究[J];软件导刊;2016年05期

2 刘朵;曾锋;陈志刚;姚亦韬;;Hadoop平台中一种Reduce负载均衡贪心算法[J];计算机应用研究;2016年09期

3 陶永才;李文洁;石磊;刘磊;卫琳;曹仰杰;;基于负载均衡的Hadoop动态延迟调度机制[J];小型微型计算机系统;2015年03期

4 林常航;郭文忠;陈煌宁;;针对Hadoop异构集群节点性能的数据分配策略[J];小型微型计算机系统;2015年01期

5 储雅;马廷淮;赵立成;;云计算资源调度:策略与算法[J];计算机科学;2013年11期

6 饶磊;汤小春;侯增江;;服务器集群负载均衡策略的研究[J];计算机与现代化;2013年01期

7 刘琨;肖琳;赵海燕;;Hadoop中云数据负载均衡算法的研究及优化[J];微电子学与计算机;2012年09期

中国硕士学位论文全文数据库 前7条

1 王少娟;基于Hadoop的作业调度负载均衡算法研究[D];安徽理工大学;2016年

2 刘党朋;不均衡环境下面向Hadoop的负载均衡算法研究[D];北京邮电大学;2015年

3 赵静;云计算平台Hadoop负载均衡研究[D];河北工程大学;2014年

4 张丽梅;基于负载均衡的云资源调度策略研究[D];宁夏大学;2014年

5 孟蒙;基于云计算的负载均衡技术的研究[D];南京邮电大学;2014年

6 李元洪;基于反馈的动态负载平衡调度算法在Hadoop异构环境中的设计与实现[D];南京理工大学;2012年

7 刘小帅;PC制造商转型与HaaS商业模式创新的研究[D];北京邮电大学;2010年

，

本文编号：1294426