云计算下MapReduce多组容错机制架构的分析与研究

发布时间：2018-08-04 11:08

【摘要】：提出了MapReduce多组容错机制,在传统的Hadoop MapReduce架构上进行改进,即在同机柜中的TaskTracker节点之间增加了多组关系,这样可以缩短发现失效节点的时间,同时减轻JobTracker节点的负荷,减低了带宽使用率,减少网络拥塞.通过实验证明,MapReduce多组容错机制提高了MapReduce的工作效率.
[Abstract]:In this paper, a multi-group fault-tolerant mechanism of MapReduce is proposed, which is improved on the traditional Hadoop MapReduce architecture, that is, the multi-group relations between the TaskTracker nodes in the same cabinet are added, which can shorten the time of finding the failure nodes and reduce the load of the JobTracker nodes. Reduce bandwidth utilization, reduce network congestion. It is proved by experiments that the multigroup fault-tolerant mechanism of MapReduce improves the efficiency of MapReduce.
【作者单位】： 河南理工大学计算机科学与技术学院;
【基金】：河南省软件科学研究(102400450064)
【分类号】：TP302.8

【参考文献】

相关期刊论文 前2条

1 王晋川;何宏;张福临;;MapReduce框架与调度容错机制研究[J];中国储运;2010年12期

2 王鄂;李铭;;云计算下的海量数据挖掘研究[J];现代计算机(专业版);2009年11期

【共引文献】

相关期刊论文 前10条

1 张雪英;朱少楠;徐希涛;;基于Neogeography的中文地名词典维护和服务机制[J];测绘通报;2012年01期

2 闫振东;高斌;;一种海量军事信息的数据云管理系统[J];电讯技术;2011年06期

3 朱敏;万剑怡;王明文;;基于MR的并行决策树分类算法的设计与实现[J];广西师范大学学报(自然科学版);2011年01期

4 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

5 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

6 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

7 刘静;李跃辉;杨苗苗;许静;;基于MapReduce的电信客户流失决策树算法研究[J];电脑知识与技术;2013年30期

8 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

9 程苗;;基于云计算的经济预测系统研究[J];激光杂志;2011年02期

10 向小军;高阳;商琳;杨育彬;;基于Hadoop平台的海量文本分类的并行化[J];计算机科学;2011年10期

相关会议论文 前1条

1 安伦;周斌;贾焰;;在线Web挖掘中的计算资源动态平衡[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

相关博士学位论文 前10条

1 徐河杭;面向PLM的数据挖掘技术和应用研究[D];浙江大学;2010年

2 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年

3 余伟;经济模型的构建与预测方法的研究[D];华南理工大学;2012年

4 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

5 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

6 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

7 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

8 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

9 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

10 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

相关硕士学位论文 前10条

1 杜雅红;基于云计算平台的图算法研究[D];北京邮电大学;2011年

2 张敏;云计算环境下的并行数据挖掘策略研究[D];南京邮电大学;2011年

3 程苗;云计算技术在web日志挖掘中的应用研究[D];中国科学技术大学;2011年

4 李辉;基于云计算环境的web结构挖掘算法研究[D];浙江理工大学;2012年

5 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年

6 朱晓峰;面向海量数据的快速挖掘算法研究[D];南京邮电大学;2012年

7 谢韬;基于数据挖掘的GSM-R网络传输干扰分析与应用[D];浙江大学;2013年

8 李筱;面向异构多核系统的并行计算模型和调度算法研究[D];湖南大学;2012年

9 冯懿;基于云计算的电力系统不良数据辨识算法研究[D];南京理工大学;2013年

10 朱安柱;基于Hadoop的Apriori算法改进与移植的研究[D];华中科技大学;2012年

【二级参考文献】

相关期刊论文 前2条

1 于蕾;刘大有;高滢;田野;;改进SPRINT算法及其在分布式环境下的研究[J];吉林大学学报(理学版);2008年06期

2 魏红宁;基于SPRINT方法的并行决策树分类研究[J];计算机应用;2005年01期

【相似文献】

相关期刊论文 前10条

1 李倩;;云计算与网格计算[J];山西电子技术;2010年05期

2 贾海燕;;云计算在互动电视上的应用[J];产业与科技论坛;2011年01期

3 郑牡丹;;云计算理论初探[J];硅谷;2011年12期

4 吴吉义;傅建庆;张明西;平玲娣;;云数据管理研究综述[J];电信科学;2010年05期

5 乔文宝;;云计算应用中的不足及改进建议[J];电脑知识与技术;2010年16期

6 袁婧;;云计算在信息技术教育教学中的应用与展望[J];教育教学论坛;2010年18期

7 祝建武;;基于云计算的存储服务器技术与趋势分析[J];软件导刊;2011年04期

8 朱超;;基于虚拟化技术构建高校分布式云计算数据中心[J];武汉工程大学学报;2011年04期

9 甘鹏飞;;云环境下的个人知识管理探讨[J];软件导刊;2011年05期

10 郭培贤;;云计算在航空气象领域的展望[J];数字技术与应用;2011年10期

相关会议论文 前10条

1 王剑锋;;“虚拟”丰“云”——虚拟化和云计算技术浅析[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

2 涂艳丽;;云计算及在IT支撑系统中的应用[A];中国通信学会第六届学术年会论文集（上）[C];2009年

3 崔云飞;刘东;李昀;;云计算:一种新型服务计算模式[A];2008年中国高校通信类院系学术研讨会论文集（下册）[C];2009年

4 高世峰;吴迪;陈正捷;;“云计算”及其应用研究初探[A];全国第二届信号处理与应用学术会议专刊[C];2008年

5 王新燕;范金刚;;初探云计算[A];两化融合与物联网发展学术研讨会论文集[C];2010年

6 丁辉;赵炜妹;;基于云计算应用一级部署的研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

7 曾文英;赵跃龙;尚敏;;云计算及云存储生态系统研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

8 孙巍;孙宝华;;企业云计算调研与应用[A];中国通信学会信息通信网络技术委员会2011年年会论文集（上册）[C];2011年

9 何川;罗新华;秦虎;高彬;;云计算在装备科研领域的应用[A];2011年全国通信安全学术会议论文集[C];2011年

10 陈红;任怡;刘晓建;;云计算平台下计费机制研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年

相关重要报纸文章 前4条

1 李献;不再遥远的高性能计算机[N];计算机世界;2006年

2 朗飞;为集群计算系统选存储[N];中国计算机报;2006年

3 高博;给超级计算机更换“心脏”[N];电脑报;2007年

4 本报记者 王皓;Linux集群再升华[N];计算机世界;2002年

相关博士学位论文 前10条

1 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年

2 刘航;WMSNs在云计算中心节能减排中的关键技术研究[D];大连理工大学;2011年

3 张小庆;基于云计算环境的资源提供优化方法研究[D];武汉理工大学;2013年

4 冯振乾;云计算数据中心的网络带宽隔离技术研究[D];国防科学技术大学;2012年

5 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年

6 孙鑫;面向云环境数据中心的高效资源调度机制研究[D];北京邮电大学;2012年

7 王智明;云数据中心资源调度机制研究[D];北京邮电大学;2012年

8 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年

9 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年

10 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年

相关硕士学位论文 前10条

1 赵志雄;基于云计算的电信通信网络关系分析技术研究与应用[D];北京邮电大学;2012年

2 柳妃妃;云计算环境下可证明数据持有技术研究[D];上海交通大学;2011年

3 白超;基于并行计算的海量日志分析系统实现[D];安徽大学;2013年

4 裴晓强;云计算环境下的容错存储技术研究[D];国防科学技术大学;2011年

5 张晨;云计算在IDC中的应用与实现[D];北京邮电大学;2012年

6 潘钰;云计算平台中的能耗管理方法[D];南京邮电大学;2013年

7 汪楠;基于OpenStack云平台的计算资源动态调度及管理[D];大连理工大学;2013年

8 刘海平;基于主从备份的云计算容错调度算法研究[D];浙江工商大学;2010年

9 张密密;MapReduce模型在Hadoop实现中的性能分析及改进优化[D];电子科技大学;2010年

10 闫新河;云计算下自主诊断与自我修复研究[D];电子科技大学;2011年

，

本文编号：2163775