基于树型结构的MapReduce并行模型

发布时间：2018-02-16 23:43

  本文关键词： MapReduce 树型结构 二叉树 消息传递接口　出处：《计算机科学》2015年11期 　论文类型：期刊论文

【摘要】：MapReduce是Google提出的一种分布式计算模型,已在海量数据处理领域得到了广泛的应用。提出一种基于树型结构的新型MapReduce并行模型。该模型适合于利用Internet或Intranet环境下不可靠的桌面PC资源进行海量科学数据分析。该模型以P2P的形式将计算节点进行组织,模型的底层采用了P2P-MPI框架,采用基于消息传递的模式来实现MapReduce应用层。在MapReduce应用层的实现中,在Map阶段采用广播的形式来分发数据块,在Reduce阶段建立反向二叉树来实现有效的结果合并和化简。将提出的MapReduce模型与现有主流MapReduce模型进行了比较,结果表明,基于树型结构的MapReduce并行模型在容错性能方面具有较优的性能,且系统简单,易于应用开发。
[Abstract]:MapReduce is a distributed computing model proposed by Google. A new MapReduce parallel model based on tree structure is proposed. This model is suitable for using unreliable desktop PC resources in Internet or Intranet environment to divide mass scientific data. The model organizes computing nodes in the form of P2P. In the bottom layer of the model, P2P-MPI framework is used to implement the MapReduce application layer. In the implementation of the MapReduce application layer, broadcast data blocks are distributed in the Map phase. In the Reduce stage, the reverse binary tree is established to realize the effective result merging and simplification. The comparison between the proposed MapReduce model and the existing mainstream MapReduce model shows that, The MapReduce parallel model based on tree structure has excellent fault-tolerant performance, and the system is simple and easy to be applied and developed.
【作者单位】： 湖南科技大学计算机科学与工程学院;中国科学院计算机网络信息中心;
【基金】：法国国家科研署科研项目(ANR-10-SEGI-001-01) 中科院百人计划(1101002001) 湖南省自然科学基金(2015JJ3071) 湖南省教育厅一般项目(12C0121)资助
【分类号】：TP311.12;TP338.6

【共引文献】

相关期刊论文 前10条

1 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

2 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

3 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

4 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

5 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

6 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

7 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

8 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期

9 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[J];北京邮电大学学报;2014年S1期

10 刘琼;赵荣;孙立坚;;Map/Reduce框架下的粗糙集空间数据挖掘改进算法[J];测绘科学;2014年05期

相关会议论文 前7条

1 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

3 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

4 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

5 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

6 张恺玉;陈磊;;一种基于Hadoop架构的指挥系统大数据挖掘方法[A];第三届中国指挥控制大会论文集（上册）[C];2015年

7 朱健军;张彤;吴哲夫;;基于权值的Hadoop调度算法改进与实现[A];浙江省电子学会2014学术年会论文集[C];2014年

相关博士学位论文 前10条

1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

2 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

3 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

5 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

7 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

8 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

9 马冯;数据密集型计算环境下贝叶斯网的学习、推理及应用[D];云南大学;2013年

10 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 张威;并行计算中主机故障容错机制研究[D];电子科技大学;2011年

2 吴舰;基于云存储的数据流处理技术的研究[D];武汉理工大学;2013年

3 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

4 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

5 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年

6 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年

7 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年

8 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年

9 但光祥;云计算环境下混合加密算法研究与实现[D];重庆大学;2013年

10 周涛;基于Hadoop的遥感数字图像处理方法研究[D];东北师范大学;2013年

【相似文献】

相关期刊论文 前10条

1 江世雄;用“树”型结构实现隐藏[J];电脑爱好者;2003年05期

2 白英彩;;一种树型结构的分布式计算机系统[J];火控技术;1981年04期

3 廖文胜;用关系模型实现零件的树型结构[J];电脑与信息技术;1996年06期

4 王艳平;;树型结构生成及逐级汇总的设计与实现[J];数字技术与应用;2013年08期

5 李斌奇;FOXPRO中树型结构数据的显示与管理[J];集美航海学院学报;1997年01期

6 王岁花;树型结构的存储技术研究及应用[J];河南师范大学学报(自然科学版);2002年04期

7 杨东峰;赵前程;;树型结构及编程实现[J];科技信息(科学教研);2007年24期

8 王硕;尤枫;赵恒永;;网页树型结构快速加载大数据量数据的实现[J];计算机工程与应用;2008年27期

9 刘春和;三维三值胞腔阵列的树型结构[J];电子学报;1982年01期

10 王一萍,袁琪;树型结构在题库系统中的应用[J];微机发展;2001年03期

相关会议论文 前3条

1 李楠;马世龙;;一种基于Ajax的动态树型结构的设计与实现[A];2007中国控制与决策学术年会论文集[C];2007年

2 王钦友;;分级控制系统树型结构模型[A];1993年控制理论及其应用年会论文集[C];1993年

3 冯雅慧;顾宁;;基于树型结构的共享文档副本的语义一致性维护[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

相关硕士学位论文 前2条

1 冯雅慧;协同编辑环境下基于树型结构的锁操作意愿维护研究[D];复旦大学;2008年

2 权吉秀;自组织树型结构化P2P网络研究与实现[D];重庆大学;2007年

，

本文编号：1516710