MapReduce下容错机制的研究与优化

发布时间：2017-05-08 17:08

  本文关键词：MapReduce下容错机制的研究与优化，由笔耕文化传播整理发布。

【摘要】：随着互联网的高速发展，云计算集群系统越来越大，处理数据的规模越来越大，这样就需要一个高效的分布式处理系统进行数据挖掘、计算等任务。MapReduce是Hadoop下的计算框架，也是云计算Hadoop的核心模块。MapReduce的容错性关乎Hadoop集群的性能。MapReduce有很好的容错机制和表现不错的容错性能，但是随着使用对象和场景的不一样，在专有任务的情况下反而会降低系统性能。因此本文利用原有的MapReduce下的容错机制进行改善和优化，使它更加适用于各种任务的系统中，并在节点失效时系统的容错能力更强。 本文主要从节点的失效到数据处理过程对MapReduce下容错性能进行改善和优化，主要研究成果如下： 在任务运行前，通过预取数据执行估算出任务的执行时间，根据任务执行时间设定超时检测时间（TASKTRACKER_EXPIRY_INT-ERVAL），当节点在超时检测时间未收到节点发送回来的心跳程序时判断该节点失效；在任务运行过程中，系统会对每个节点设定一个信誉值，根据节点的数据获取错误对节点的信誉值进行衰减和通过心跳汇报对的信誉值进行恢复，当节点的信誉值低于最低阈值就判断该节点失效。在运行过程中，产生的中间值存储在本地，当节点失效就会丢失，本文采用异步复制，，不同机器存储的方式存储，使得中间值在节点失效时同样能取得。通过在任务运行前对失效时间进行设定，在运行中对节点失效进行评估和对中间值进行备份存储的方法增强了系统的容错能力。
【关键词】：Hadoop MapReduce 容错性 信誉值 自适应
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP302.8
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章 绪论9-14
• 1.1 课题来源9
• 1.2 课题研究的背景和意义9-10
• 1.3 国内外在该方向的研究现状10-11
• 1.4 论文主要研究内容11-12
• 1.5 论文内容及结构12-14
• 第2章 MapReduce 体系结构及容错机制的研究14-26
• 2.1 MapReduce 体系结构概述14
• 2.2 Hadoop 分布式文件系统14-15
• 2.3 HDFS 的基本结构15-18
• 2.3.1 MapReduce 的基本结构16-18
• 2.4 目录文件结构18-19
• 2.5 MapReduce 的失效检测19-22
• 2.5.1 worker 节点失效20
• 2.5.2 Master 节点失效20
• 2.5.3 失效检测的流程和机理20-22
• 2.6 MapReduce 的节点调度方式22-23
• 2.7 其他容错机制23-24
• 2.7.1 中间值容错23-24
• 2.7.2 JobTracker 容错24
• 2.7.3 任务推测执行24
• 2.8 MapReduce 的容错性能不足24
• 2.9 本章小结24-26
• 第3章 MapReduce 下容错机制的优化设计26-36
• 3.1 MapReduce 自适应检测时间设计28-30
• 3.1.1 设计动机28
• 3.1.2 设计原理28
• 3.1.3 作业任务时间估计设计方法28-30
• 3.2 MapReduce 下信誉机制的研究与设计30-33
• 3.2.1 设计动机30-31
• 3.2.2 设计原理31
• 3.2.3 MapReduce 下信誉机制的设计方法31-33
• 3.3 中间值的安全性的设计33-34
• 3.3.1 设计原理33-34
• 3.3.2 设计方法34
• 3.4 本章小结34-36
• 第4章 系统实现36-47
• 4.1 MapReduce 自适应时间检测实现36-39
• 4.1.1 执行过程36-38
• 4.1.2 类依赖关系38-39
• 4.2 MapReduce 信誉机制实现39-43
• 4.2.1 执行过程39-41
• 4.2.2 数据结构41-42
• 4.2.3 程序执行流程42-43
• 4.3 中间值的安全性实现43-46
• 4.3.1 中间数据的处理过程43-44
• 4.3.2 数据结构与算法44-46
• 4.4 本章小结46-47
• 第5章 实验结果和分析47-59
• 5.1 实验环境和集群架构47-49
• 5.1.1 Hadoop 集群架构47-48
• 5.1.2 实验环境和配置48-49
• 5.1.3 系统概况49
• 5.2 测试方案和测试过程49-52
• 5.2.1 实验配置和进行过程50-51
• 5.2.2 信誉机制时间的参数和配置51-52
• 5.2.3 作业的选取52
• 5.3 实验结果和数据分析52-58
• 5.3.1 集群系统中没有节点失效52-54
• 5.3.2 系统中有一个节点失效54-56
• 5.3.3 系统的整体测试56-57
• 5.3.4 对比分析57-58
• 5.4 本章小结58-59
• 结论59-60
• 参考文献60-64
• 致谢64

【参考文献】

中国期刊全文数据库 前5条

1 孙健;贾晓菁;;Google云计算平台的技术架构及对其成本的影响研究[J];电信科学;2010年01期

2 丁文定;;基于服务集成管理的SaaS解决方案[J];计算机与现代化;2010年01期

3 江务学;张t

本文编号：351527