一种兼顾负载均衡的Hadoop集群动态节能方法

发布时间：2017-07-31 21:10

  本文关键词：一种兼顾负载均衡的Hadoop集群动态节能方法

  更多相关文章： 分布式计算 Hadoop 调度算法 动态负载均衡 节能调度

【摘要】：Hadoop集群广泛应用于企业和研究机构的大数据处理和并行计算中。该文针对Hadoop集群节点管理中缺少动态负载均衡和节能相互结合的调度技术的现状,提出一种动态负反馈调整算法,并设计和实现了一个用于Hadoop平台节点动态管理的系统。通过大量Hadoop经典测试用例测试,结果表明:该算法能够有效提高负载均衡并通过减少节点的空闲时间以有效地节能,与未使用本算法的结果相比,节点平均空闲休眠时间增加25%,节能14%。同时通过与其他算法相比,节点间均衡度有一定程度提升,平均负载方差减少10%。
【作者单位】： 电子科技大学信息与软件工程学院;中国科学院重庆绿色智能技术研究院;
【关键词】： 分布式计算 Hadoop 调度算法 动态负载均衡 节能调度
【基金】：国家自然科学基金资助项目(61672136,61650110513) 四川省科技厅项目(2016GZ0322) 中科院西部之光项目(R51A150Z10) 重庆市基础研究与前沿技术研究计划项目(cstc2015jcyjB0244)
【分类号】：TP311.13
【正文快照】： (1.School of Information and Software Engineering,University of Electronic Science and Technology of China,Chengdu 610054,China;2.Chongqing Institute of Green and Intelligent Technology,Chinese Academy of Sciences,Chongqing 400714,China)随着互联网的高速

【相似文献】

中国期刊全文数据库 前10条

1 向哲,钟玉琢,冼伟铨;一种基于周期合并策略的流调度算法[J];软件学报;2001年08期

2 易云山,桂志波;分组网络中包调度算法研究[J];江苏通信技术;2004年03期

3 刘越洋,席裕庚;基于两步滚动的单机调度算法研究[J];计算机工程;2004年24期

4 孙力娟;李超;张登银;王汝传;;低速网络中实时补偿型差额循环调度算法的设计和实现[J];电子与信息学报;2006年10期

5 刘东;张春元;;软件容错模型中反向与正向调度算法研究[J];计算机工程与科学;2007年09期

6 何琨;赵勇;黄文奇;;基于任务复制的分簇与调度算法[J];计算机学报;2008年05期

7 赵晶英;黄剑锋;;基于反馈平衡的多生产线调度算法与仿真[J];计算机仿真;2012年02期

8 钱进;多进程组合调度算法[J];华中工学院学报;1983年06期

9 韩立毛;;调度算法性能的研究[J];盐城工学院学报;1998年01期

10 任泰明;如何用数学模型定量评价进程调度算法的性能[J];兰州石化职业技术学院学报;2001年01期

中国重要会议论文全文数据库 前7条

1 彭洪;涂凍生;;面向操作的调度算法[A];1994中国控制与决策学术年会论文集[C];1994年

2 李琪林;甄威;周明天;;一种适用于Master-Worker应用的动态统一调度算法的研究[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年

3 罗杰;陈跃跃;孙海燕;阳柳;淡孝强;辛乃军;王霁;;基于表调度的Matrix指令调度算法的实现[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集（B辑）[C];2011年

4 周双娥;袁由光;熊兵周;;分布系统的动态容错调度算法[A];第十届全国容错计算学术会议论文集[C];2003年

5 谢昊飞;蔡辉妍;王平;;μC/OS-Ⅱ调度算法在EPA应用中的改进与实现[A];2010中国仪器仪表学术、产业大会（论文集2）[C];2010年

6 陈海坚;张拥军;;一种准静态容错DVS节能调度算法[A];中国通信学会第五届学术年会论文集[C];2008年

7 王璐璐;张素伟;任颉;;网格调度算法[A];《制造业自动化与网络化制造》学术交流会论文集[C];2004年

中国博士学位论文全文数据库 前5条

1 马丹;任务间相互依赖的并行作业调度算法研究[D];华中科技大学;2007年

2 吴刚;对低功耗进程调度算法的研究[D];复旦大学;2006年

3 罗威;分布式实时容错调度算法研究[D];华中科技大学;2008年

4 兰舟;分布式系统中的调度算法研究[D];电子科技大学;2009年

5 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

中国硕士学位论文全文数据库 前10条

1 王德龙;Hadoop平台下作业调度算法的研究与改进[D];南京信息工程大学;2015年

2 刘盼红;大数据环境下Hadoop作业调度算法的研究[D];河北工程大学;2015年

3 王彤;Xen虚拟机调度算法的实时性能研究[D];东北大学;2014年

4 曹本钊;基于位填充机制的CAN总线响应时间分析及调度算法研究[D];东北大学;2014年

5 戚展展;基于MLFQ的Hadoop作业调度算法研究与优化[D];东北大学;2014年

6 王瑶;基于Hadoop平台的动态自适应作业调度算法研究[D];东北大学;2014年

7 杨洋;基于资源状况的延时等待公平调度算法的研究[D];东北大学;2014年

8 刘涛;云平台下自适应调度算法的研究与改进[D];太原理工大学;2014年

9 王祺元;云计算下作业调度算法的研究[D];太原理工大学;2013年

10 何冲;Hadoop集群调度优化的研究[D];上海师范大学;2015年

，

本文编号：601131