云环境下MapReduce多组容错机制的研究

发布时间：2017-09-09 19:37

  本文关键词：云环境下MapReduce多组容错机制的研究

  更多相关文章： 云计算 MapReduce并行编程模型 多组容错机制

【摘要】：随着互联网技术的快速发展与普及,人类社会已由信息时代进入了大数据时代,传统的计算模式已经不能满足时代的要求,一种新兴的商业计算模型——云计算应运而生,云计算为计算机行业带来了新的机遇和挑战。云计算是一个大规模的分布式计算系统,为互联网上的外部用户提供抽象的、虚拟的、动态调整以及可管理的计算能力、存储、平台以及服务。云计算最典型的案例是Goolge公司提出的MapReduce并行编程模型,它简单易用、并行化程度高、可靠性高等特点吸引了很多用户。目前,国内外针对MapReduce编程模型各个方面的研究很多,其中关于MapReduce容错机制一直是研究热点之一。针对容错机制的研究可以总结为两种方案:备份和再执行,但是这两种方案有一个基本前提条件——感知到失效节点,如果感知失效情况不及时或者不准确,这两种方案也就不能发挥作用了。本文将从一个新的视角出发,针对如何更快更准确的发现失效节点问题展开研究,主要分为以下几个方面:首先,根据需求分析设计容错方案,简单地将其分为三个步骤:多组监测、请求申请、任务迁移,分析各自的职能,研究多组容错的运行机制。其二,对传统的MapReduce架构进行改进,在同机柜中的各个TaskTracker节点之间搭建多组架构,建立多组心跳机制,分别在TaskTracker和JobTracker上增加多组类multipleTaskTracker、multipleJobTracker,实现多组容错。其三,对任务迁移过程中可能出现的资源竞争问题进行补充,根据公平性原则,针对两类资源竞争现象按照各自的规则进行任务迁移。最后,分别从响应时间、加速比和多组容错的优势三个方面对多组容错性能进行分析,得出在不影响系统扩展性的前提下,多组关系提高了监测失效节点的效率,节约了作业响应时间,降低了带宽使用率,减少网络拥塞,减轻了JobTracker节点的负荷。大量实验数据表明,在不影响MapReduce系统可扩展性的前提下,多组容错要明显优于传统容错方案。在集群中存在失效节点时,多组容错可以将发现失效的时间大幅度地缩短,并且可以游刃有余的解决任务迁移过程中的资源竞争现象。
【关键词】：云计算 MapReduce并行编程模型 多组容错机制
【学位授予单位】：河南理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP302.8
【目录】：

• 致谢4-5
• 摘要5-6
• Abstract6-11
• 1 引言11-17
• 1.1 研究背景和意义11-12
• 1.2 国内外研究现状12-14
• 1.3 本文工作14-16
• 1.3.1 研究内容14-15
• 1.3.2 研究重点和难点15-16
• 1.4 论文的组织结构16-17
• 2 云计算中MapReduce编程模型的分析17-33
• 2.1 云计算概述17-20
• 2.2 Hadoop计算平台20-24
• 2.2.1 Hadoop开源架构21
• 2.2.2 HDFS文件系统21-22
• 2.2.3 MapReduce架构22-24
• 2.3 MapReduce编程模型24-29
• 2.3.1 MapReduce概述24
• 2.3.2 MapReduce编程思想24-26
• 2.3.3 MapReduce主从架构26
• 2.3.4 MapReduce实现流程26-28
• 2.3.5 MapReduce研究热点28-29
• 2.4 MapReduce容错相关改进29-31
• 2.4.1 慢任务评判算法29-30
• 2.4.2 中间值存储方案30
• 2.4.3 单控制节点容错方案30-31
• 2.5 本章小结31-33
• 3 MapReduce容错机制分析33-47
• 3.1 容错实体类33-37
• 3.1.1 JobTracker类33-34
• 3.1.2 TaskTracker类34-35
• 3.1.3 Storage相关类35-36
• 3.1.4 HeartbeatResponse相关类36-37
• 3.2 MapReduce容错策略37-43
• 3.2.1 备份方案37-39
• 3.2.2 失效监测机制39-42
• 3.2.3 推测执行机制42-43
• 3.3 容错性能评估指标43-45
• 3.3.1 响应时间43-44
• 3.3.2 加速比44
• 3.3.3 可靠性44
• 3.3.4 公平性44-45
• 3.4 本章小结45-47
• 4 MapReduce多组容错机制的研究47-57
• 4.1 需求分析47
• 4.2 实现方案47-50
• 4.2.1 多组监测48
• 4.2.2 请求申请48-49
• 4.2.3 任务迁移49-50
• 4.3 多组容错机制的研究50-54
• 4.3.1 多组机制实现类50-51
• 4.3.2 搭建多组架构51-53
• 4.3.3 多组心跳机制53-54
• 4.4 多组关系带来的资源竞争54-55
• 4.5 性能分析55-56
• 4.5.1 响应时间分析55
• 4.5.2 加速比分析55
• 4.5.3 优势分析55-56
• 4.6 本章小结56-57
• 5 实验与结果分析57-67
• 5.1 实验环境配置57-60
• 5.1.1 集群配置方案57-58
• 5.1.2 SSH和JDK的配置58
• 5.1.3 Hadoop的安装配置58-60
• 5.2 基准测试60-62
• 5.3 实验结果与分析62-66
• 5.3.1 响应时间对比分析62-63
• 5.3.2 公平性测试63-64
• 5.3.3 加速比性能测试64-66
• 5.4 本章小结66-67
• 6 总结与展望67-69
• 6.1 工作总结67-68
• 6.2 展望68-69
• 参考文献69-73
• 作者简介73-75
• 学位论文数据集75

【相似文献】

中国期刊全文数据库 前10条

1 费秀婷,沈庆浩;移动agent系统的容错机制[J];计算机与数字工程;2005年04期

2 么刚;王劲林;姚琼;朱小勇;孙鹏;;嵌入式高清播放器容错机制的研究与实现[J];计算机系统应用;2009年01期

3 刘添添;移动Agent系统的一种安全容错机制[J];计算机工程;2005年18期

4 聂瑞华;张科伦;梁军;;一种改进的云存储系统容错机制[J];计算机应用研究;2013年12期

5 陈波;张曦煌;;基于分层与容错机制的云计算负载均衡策略[J];计算机应用;2013年11期

6 孙峻朝,王建莹,杨孝宗;故障和容错机制的层次模型[J];计算机工程与应用;1999年10期

7 姜楠;李战怀;任X;胡金鹏;;远程镜像系统容错机制的研究与实现[J];计算机工程;2011年01期

8 张大为,韩华,代亚非;P2P系统中降低错误相关性的方法[J];计算机研究与发展;2005年08期

9 赖巍;郭荷清;朱娟;;基于补偿服务链的Web服务容错机制研究与实现[J];计算机应用与软件;2009年01期

10 张治斌;李燕歌;;云计算下MapReduce多组容错机制架构的分析与研究[J];微电子学与计算机;2014年01期

中国重要会议论文全文数据库 前2条

1 万国伟;谢e，

本文编号：822383