一种优化MapReduce系统能耗的任务分发算法

发布时间：2017-10-31 17:16

  本文关键词：一种优化MapReduce系统能耗的任务分发算法

  更多相关文章： MapReduce 能耗 能耗优化 任务分发 并行性 云计算 大数据

【摘要】：MapReduce是一种典型的分布式计算模型,一经提出就被迅速应用到大数据处理系统中.文中认为MapReduce系统在能耗方面存在优化空间.对于一个分布式并行计算系统,任务的并行性对任务执行性能影响显著,并行性保证方法在优化性能的前提下还应该考虑系统能耗.在MapReduce系统中,传统的Map任务分发算法采用"小任务多次分发的策略",这种策略虽然保证了并行性,但会浪费节点的处理能力,消耗额外的能量;而Reduce任务分发算法尚不能保证Reduce任务间的并行性.文中提出通过动态地调整Map任务和Reduce任务大小,也即任务处理数据量的规模来保证任务并行性,降低MapReduce系统的整体能耗.文中通过实验证明该方法能够有效地降低典型MapReduce作业的能耗.
【作者单位】： 东北大学软件学院;东北大学信息科学与工程学院;
【关键词】： MapReduce 能耗 能耗优化 任务分发 并行性 云计算 大数据
【基金】：国家自然科学基金(61433008,61202088,61272179,61173028) 教育部博士点基金(20120042110028)、教育部-英特尔信息技术专项科研基金(MOE-INTEL-2012-06) 中央高校基本科研业务费专项资金(N130417001) 中国博士后科学基金面上项目(2013M540232) 辽宁省博士启动基金(201403314)资助~~
【分类号】：TP311.13
【正文快照】： 1引言MapReduce是一种分布式地完成大规模数据集处理和分析运算的有效技术,基于MapReduce的应用程序能够在大量普通配置的计算机上并行地执行,而MapReduce框架则需完成数据分割、任务分发、资源分配、节点容错、节点通信以及结果保存等复杂操作.通常,性能是衡量一个软件系统优

【参考文献】

中国期刊全文数据库 前1条

1 刘义;景宁;陈荦;熊伟;;MapReduce框架下基于R-树的k-近邻连接算法[J];软件学报;2013年08期

【共引文献】

中国期刊全文数据库 前10条

1 刘琼;赵荣;孙立坚;;Map/Reduce框架下的粗糙集空间数据挖掘改进算法[J];测绘科学;2014年05期

2 陈晓康;刘竹松;;基于改进Kd-Tree构建算法的k近邻查询[J];广东工业大学学报;2014年03期

3 王鹏;王睿婕;;K-均值聚类算法的MapReduce模型实现[J];长春理工大学学报(自然科学版);2015年03期

4 李振举;李学军;杨晟;刘涛;;云计算环境下空间索引构建研究[J];测绘与空间地理信息;2015年10期

5 金菁;;基于MapReduce模型的排序算法优化研究[J];计算机科学;2014年12期

6 李玉丹;郑晓薇;;Hadoop下多模式并行分类算法及其应用研究[J];计算机工程;2014年12期

7 王飞;秦小麟;刘亮;沈尧;;基于数据流的k-近邻连接算法[J];计算机科学;2015年05期

8 徐小龙;李永萍;李涛;;云计算领域科技文献统计与研究热点分析[J];南京邮电大学学报(自然科学版);2015年04期

9 王诏远;王宏杰;邢焕来;李天瑞;;基于Spark的蚁群优化算法[J];计算机应用;2015年10期

10 袁开银;;基于MapReduce工作流优化器的研究[J];计算机应用与软件;2015年10期

中国硕士学位论文全文数据库 前3条

1 谢方方;基于距离的孤立点挖掘在计算机取证中的应用研究[D];山东师范大学;2014年

2 尚丹丹;基于虚拟机的Hadoop分布式聚类挖掘方法研究与应用[D];哈尔滨理工大学;2015年

3 徐原博;基于MapReduce的改进关联规则算法研究[D];吉林大学;2015年

【相似文献】

中国硕士学位论文全文数据库 前1条

1 肖培;非集中式MapReduce系统的节点失效及其容错机制研究[D];云南大学;2015年

，

本文编号：1122947