MapReduce集群的数据块副本策略研究

发布时间：2017-07-19 10:10

  本文关键词：MapReduce集群的数据块副本策略研究

  更多相关文章： MapReduce 异构环境 数据块分布策略

【摘要】：集群中的节点由于其硬件配置不同导致其性能不同,使得集群环境成为异构环境。然而,在以Hadoop为代表的MapReduce实现中并没有充分考虑到环境的异构性,致使节点的负载不能与其性能相适应且过多的Map任务需要从其他节点传输输入数据块,从而影响MapReduce在异构环境中性能。 本文将集群环境的异构性纳入到数据块副本策略的设计中,从而提升MapReduce在异构环境中的性能。本文主要工作如下： 1)分析了异构环境中MapReduce集群性能问题的原因。 2)提出基于节点性能的数据块副本创建策略,使得在副本创建时,副本的分布与节点性能相适应。 3)提出基于节点性能的数据块副本动态调整策略,根据集群的历史访问信息和给定的额外存储开销预算,对存储在集群中文件的副本数进行调整,并在调整过程中平衡异构节点间的负载。 4)实验验证了本文所提出的策略在异构环境中能有效提升输入数据在本地的Map任务比例,缩短MapReduce任务的完成时间,并动态平衡节点间的负载。
【关键词】：MapReduce 异构环境 数据块分布策略
【学位授予单位】：华东理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-7
• 目录7-9
• 第1章 绪论9-14
• 1.1 研究背景及意义9-10
• 1.2 MapReduce研究现状10-12
• 1.3 本文主要工作12-13
• 1.4 本文结构13-14
• 第2章 MapReduce在异构环境中的性能研究14-27
• 2.1 MapReduce编程模型及其实现14-15
• 2.2 MapReduce及HDFS在Hadoop中的结构15-16
• 2.3 MapReduce在Hadoop中的运行过程16-17
• 2.4 Hadoop的任务调度17-19
• 2.4.1 调度优先顺序18-19
• 2.4.2 推测性任务(Speculative Tasks)19
• 2.5 MapReduce在异构环境中的性能问题19-20
• 2.6 HDFS的数据块副本策略20-22
• 2.7 副本分布对异构环境中MapReduce性能的影响22-25
• 2.8 本章小结25-27
• 第3章 基于节点性能的数据块副本创建策略27-40
• 3.1 数据块副本策略的目标27-29
• 3.1.1 现有的副本策略目标与分析27
• 3.1.2 副本策略目标27-29
• 3.2 性能权值29-30
• 3.3 节点的分类30-31
• 3.4 副本策略的总体框架31-33
• 3.4.1 如何满足副本策略目标31
• 3.4.2 总体框架31-33
• 3.5 节点分类信息的保存与更新33
• 3.6 写入节点优先选择策略33-34
• 3.7 额外一副本选择策略34-36
• 3.8 额外两副本选择策略36-38
• 3.9 本章小结38-40
• 第4章 基于节点性能的动态副本调整策略40-51
• 4.1 数据块热门程度的不一致及其影响40-41
• 4.2 现有研究分析41-42
• 4.3 动态调整策略的总体设计42-43
• 4.4 预算(Budget)的分发策略43-45
• 4.4.1 优先分发策略和轮询分发策略43-44
• 4.4.2 平滑优先分发策略44-45
• 4.5 副本动态增加策略45-49
• 4.5.1 副本增加策略的设计45-47
• 4.5.2 复杂度分析47-48
• 4.5.3 流量开销比较48-49
• 4.6 副本动态删除策略49-50
• 4.7 本章小结50-51
• 第5章 实验性能分析51-62
• 5.1 副本创建分布实验与分析51-53
• 5.1.1 数据块副本的分布51-52
• 5.1.2 数据块所在节点的平均权值分布52-53
• 5.2 MapReduce性能实验与分析53-55
• 5.3 预算分发策略55-58
• 5.3.1 分发策略对比56-57
• 5.3.2 下降因子d的影响57
• 5.3.3 存储开销预算的影响57-58
• 5.4 动态调整与负载平衡58-61
• 5.4.1 副本增加调整58-59
• 5.4.2 副本移除调整59-61
• 5.5 本章小结61-62
• 第6章 总结与展望62-64
• 6.1 总结62-63
• 6.2 未来工作展望63-64
• 参考文献64-68
• 致谢68-69
• 攻读硕士期间完成的论文69

【参考文献】

中国期刊全文数据库 前3条

1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

2 孙广中;肖锋;熊曦;;MapReduce模型的调度及容错机制研究[J];微电子学与计算机;2007年09期

3 郑启龙;王昊;吴晓伟;房明;;HPMR:多核集群上的高性能计算支撑平台[J];微电子学与计算机;2008年09期

，

本文编号：562320