非集中式MapReduce系统的节点失效及其容错机制研究

发布时间：2017-11-14 04:32

  本文关键词：非集中式MapReduce系统的节点失效及其容错机制研究

  更多相关文章： MapReduce P2P 节点失效 容错

【摘要】：MapReduce作为一个当前海量数据处理的并行编程模型,并部署在大规模集群上进行分布式处理。Hadoop作为实现MapReduce最常用的开源框架,由于节点失效,特别是两种单点失效(主节点的作业失效和名字节点的分布式文件系统失效),影响作业的执行和系统的性能,比如名称节点的分布式文件系统的崩溃故障,会导致所有计算完成的不准确,一旦主节点失效,整个系统可能会瘫痪。目前国内外针对MapReduce单点失效,提出了使用备份节点、修改DFS架构、非集中式的架构和使用特定服务等,然而这些机制存在以下几个问题,(1)备份节点的计算资源没有有效地利用,(2)修改DFS架构,系统只有传统MapReduce的80%性能,(3)目前非集中式架构的节点数量是有限制的,或者同时也使用了备份节点,(4)特定的服务只能应用在特定的环境。 针对以上问题,本文将从传统的MapReduce架构的特点、编程模型、工作流程和容错机制出发,研究目前MapReduce节点失效的处理方式,结合P2P网络的特点,提出了一种非集中式的MapReduce的解决方案。本文的研究内容主要包括以下几个方面： 1、通过讨论目前MapReduce框架的特征、工作流程、容错机制和缺陷。分析目前MapReduce在从节点失效、Byzantine错误和单点失效的情况下的错误处理方法,以及这些处理方法存在的问题和不足。 2、针对目前MapReduce节点失效及其容错机制存在的问题,结合P2P网络的特点,以Chord协议作为非集中方式的优势,提出了基于P2P的MapReduce的机制。并介绍了P2P的MapReduce的系统架构、工作流程和错误处理方式。 3、最后根据本文所提出的机制进行实现,并在一定的数据集测试下进行评估。以典型的WordCount的单词统计应用程序,来进行实验验证,本文所提出的机制能避免单点失效,在发生崩溃错误之后,能在合适时间恢复,提高了系统性能,减少了复制开销。因此,本文提出的P2P的MapReduce系统是可行的,并能进行一定规模的大数据处理。
【学位授予单位】：云南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP302.8

【共引文献】

中国期刊全文数据库 前10条

1 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

2 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

3 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

4 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

5 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

6 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

7 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

8 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期

9 崔振;;云计算在高通量测序数据分析中的应用[J];基因组学与应用生物学;2014年02期

10 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[J];北京邮电大学学报;2014年S1期

中国重要会议论文全文数据库 前5条

1 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

3 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

4 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

5 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

中国博士学位论文全文数据库 前10条

1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

2 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

3 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

5 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

6 吴和生;云计算环境中多核多进程负载均衡技术的研究与应用[D];南京大学;2013年

7 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

8 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

9 狄浩;虚拟网络的高效和可靠映射算法研究[D];电子科技大学;2013年

10 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

中国硕士学位论文全文数据库 前10条

1 栾洋洋;分布式数据库HBase故障恢复方法研究[D];兰州理工大学;2013年

2 于超佳;HDFS数据副本随需调整及其放置策略研究[D];兰州理工大学;2013年

3 廖福蓉;基于任务备份的云计算任务调度算法研究[D];重庆大学;2013年

4 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

5 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

6 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年

7 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年

8 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年

9 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年

10 但光祥;云计算环境下混合加密算法研究与实现[D];重庆大学;2013年

，

本文编号：1183892