不同MapReduce运行系统的性能测试与分析

发布时间：2018-04-21 09:23

  本文选题：云计算 + MapReduce　； 参考：《计算机科学》2015年05期

【摘要】：随着云计算技术的发展,许多MapReduce运行系统被开发出来,如Hadoop、Phoenix和Twister等。直观上,Hadoop具有很强的可扩展性、稳定性,适合处理大规模离线应用;Phoenix具有运行速度快等优点,适合处理数据密集型任务;Twister是轻量级的迭代系统,非常适合迭代式的应用。不同的应用在不同的MapReduce运行系统中有着不同的性能。通过测试不同应用在这些运行系统上的性能,给出了实验比较和性能分析,从而为大数据处理时选择合适的并行编程模型提供依据。
[Abstract]:With the development of cloud computing technology, many MapReduce operating systems, such as Hadoop Phoenix and Twister, have been developed. Hadoop is intuitively scalable and stable. Phoenix is suitable for dealing with large scale off-line applications and has the advantages of high speed. Twister is a lightweight iterative system suitable for data-intensive tasks and is very suitable for iterative applications. Different applications have different performance in different MapReduce running systems. By testing the performance of different applications on these running systems, the experimental comparison and performance analysis are given, thus providing the basis for big data to select an appropriate parallel programming model.
【作者单位】： 西南交通大学信息科学与技术学院;
【基金】：国家自然科学基金(61175047,61202043),国家自然科学基金联合基金(U1230117) 四川省科技支撑计划项目(2012RZ0009) 中央高校基本科研业务费专项资金(SWJTU11ZT08)资助
【分类号】：TP338.6;TP311.1

【参考文献】

相关期刊论文 前2条

1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

2 亢丽芸;王效岳;白如江;;MapReduce原理及其主要实现平台分析[J];现代图书情报技术;2012年02期

【共引文献】

相关期刊论文 前10条

1 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

2 吴建军;;网络舆情的云计算监测模式分析与实现[J];电讯技术;2013年04期

3 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

4 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

5 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

6 黄上星;周凌云;;基于GAE的云计算应用开发[J];大众科技;2013年10期

7 王晓华;;一种新型的Hadoop本地化测试模型[J];赤峰学院学报(自然科学版);2013年19期

8 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

9 郑哲;;一种物流云系统的架构方法[J];电脑编程技巧与维护;2013年22期

10 钱晨;张鹏飞;;中国云计算建设及技术开发方向分析[J];福建电脑;2013年12期

相关会议论文 前10条

1 陈德华;解维;李悦;;面向大规模图数据的分布式并行聚类算法研究[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

2 张玮;牛正浩;史慧玲;孙萌;唐绍炬;;多目标优化的云计算虚拟集群动态调整方法[A];山东计算机学会2013学术年会论文集[C];2013年

3 孙英华;郭振波;吴哲辉;杜乐乐;;基于混合云市场的计算资源交易模型的研究[A];山东计算机学会2013学术年会论文集[C];2013年

4 潘送军;周沿东;;浅谈开发测试资源池的建设及应用[A];电力行业信息化优秀论文集2013[C];2013年

5 周宇光;陈振义;盛中华;;探索云计算技术在企业信息化建设中的应用[A];第十六届中国科协年会——分7绿色设计与制造信息技术创新论坛论文集[C];2014年

6 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

7 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

8 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

9 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

10 付伟;白永超;辛阳;;一种基于Hadoop和K-means的Web日志分析方案的设计[A];第十九届全国青年通信学术年会论文集[C];2014年

相关博士学位论文 前10条

1 李煜;基于双边市场理论的软件平台运营机制研究[D];北京邮电大学;2013年

2 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

3 张帆;认知可重构的高效能Web服务体系结构研究[D];解放军信息工程大学;2013年

4 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

5 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

6 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

7 卿苏德;网络虚拟化映射算法研究[D];北京邮电大学;2013年

8 史佩昌;云服务的高效传递技术研究[D];国防科学技术大学;2012年

9 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

10 刘雪峰;隐私安全协议研究[D];西安电子科技大学;2013年

相关硕士学位论文 前10条

1 储超尘;面向SaaS的IT资源综合监控系统及其关键技术的研究[D];中南大学;2012年

2 解维;分布式图聚类及其在电子商务数据挖掘中的应用[D];东华大学;2013年

3 敖杰刚;分布式并行计算下GML空间数据复制同步更新机制研究[D];江西理工大学;2012年

4 王家惠;移动云计算下位置服务数据管理与应用研究[D];大连海事大学;2013年

5 谢磊;基于Bl-PaaS平台的界面定制技术的研究与实现[D];北京邮电大学;2013年

6 杨丛聿;基于MapReduce模型的图像相似度分析[D];北京邮电大学;2013年

7 朱朝鹏;基于云计算的远程诊断关键技术研究[D];郑州大学;2013年

8 吴崇正;基于MapReduce的分布式搜索引擎研究[D];兰州理工大学;2013年

9 郭德锋;基于Hadoop的云平台模型的性能研究与优化[D];西北大学;2013年

10 王军;云计算系统资源调度及安全性研究[D];武汉理工大学;2013年

【二级参考文献】

相关期刊论文 前5条

1 宁焕生;张瑜;刘芳丽;刘文明;渠慎丰;;中国物联网信息服务系统研究[J];电子学报;2006年S1期

2 廖名学;范植华;;MPI程序同步通信基本模型死锁检测[J];电子学报;2008年02期

3 宁焕生;徐群玉;;全球物联网发展及中国物联网建设若干思考[J];电子学报;2010年11期

4 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

5 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

【相似文献】

相关期刊论文 前10条

1 吴邦雄;;250系统的运行系统[J];通讯装备;1978年03期

2 赵知友;市场经济的系统性及其宣传要求[J];新疆新闻界;1993年04期

3 张小飞;;针对社区环境的软件网络化运行系统的设计与实现[J];微计算机信息;2010年36期

4 刘文华;黄东军;;航空公司现场运行系统的设计与实现[J];现代计算机;2006年11期

5 张磊;师卫;;软PLC运行系统的研究与实现[J];科技情报开发与经济;2008年11期

6 王亚男;陈婵娟;;软PLC运行系统的研究与实现[J];煤炭技术;2012年02期

7 王平，，唐元;中国国民经济运行系统的设计与实现[J];微型电脑应用;1996年03期

8 赵万杰,罗慧;;对远距离教育运行系统的探讨[J];中国电化教育;1998年10期

9 贺桂香;;北京紫金桥实时数据运行系统在炼油厂的应用[J];自动化应用;2011年07期

10 林伟璐,钱宇,李秀喜,郑秀玉;化工过程集成运行系统的研究[J];化工自动化及仪表;2000年01期

相关会议论文 前5条

1 李秀喜;钱宇;黄启明;林伟璐;;化工过程集成运行系统平台的研究与开发[A];过程系统工程2001年会论文集[C];2001年

2 芮钧;徐洁;李永红;郑健兵;赵宇;高磊;;基于一体化管控平台的智能水电厂经济运行系统构建[A];2013年电力系统自动化专委会年会论文[C];2013年

3 沈永春;张功镀;;可编程控制器运行系统的设计和实现[A];中国仪器仪表学会2007学术年会智能检测控制技术及仪表装置发展研讨会论文集[C];2007年

4 戚明浩;沈学军;;优化运行系统对锅炉节能调节的指导作用分析和探讨[A];第七届电力工业节能减排学术研讨会论文集[C];2012年

5 曹春华;;对城市规划运行机制的思考[A];中国城市规划学会2002年年会论文集[C];2002年

相关重要报纸文章 前10条

1 通讯员 许萍萍;炼油与化工运行系统落户辽河石化[N];中国石油报;2009年

2 记者 王正喜;徐州经济技术开发区行政权力网上公开运行系统开通[N];徐州日报;2010年

3 吴建荣;大庆政务公开运行系统全面开通[N];中国纪检监察报;2006年

4 曲先中 唐毓;键盘一敲效率高 鼠标一点成本减[N];中国石化报;2007年

5 记者 冯作文;兰州石化MES系统上线运行[N];中国石油报;2007年

6 肖红军 山西高平市建宁煤矿矿长;培育忧患意识 建设安全文化[N];鸡西日报;2008年

7 记者 冯燕平;IT小企业撬动农业信息化大市场[N];呼和浩特日报(汉);2011年

8 黄静;我区率全市之先建立网上政务大厅[N];温州日报;2011年

9 邰季;为群众办事提供便捷优质服务[N];中国纪检监察报;2012年

10 本报记者 张中宝　实习生 李艾颖;乘客为何不买公交卡的账[N];海南日报;2011年

相关博士学位论文 前1条

1 吴志辉;化工过程计算机集成运行系统及实验平台的研究与开发[D];华南理工大学;2007年

相关硕士学位论文 前10条

1 张羽;总部级炼油与化工生产运行系统的设计与实现[D];北京交通大学;2009年

2 王亚男;开放式数控系统软PLC运行系统的研究与开发[D];陕西科技大学;2012年

3 张磊;基于PC的软PLC运行系统研究与实现[D];太原理工大学;2008年

4 周建香;基于ARM的嵌入式软PLC运行系统设计[D];华南理工大学;2010年

5 伊晓峰;编译型PLC运行系统的设计与实现[D];山东轻工业学院;2010年

6 田钊;基于一类混合Petri网的列车运行系统中冲突因素的分析[D];郑州大学;2011年

7 高进;软PLC运行系统的研究[D];西华大学;2010年

8 周清;基于混合Petri网的列车运行系统中时间推理问题的研究[D];郑州大学;2010年

9 侯一波;自适应人机界面在生产运行系统中的应用[D];天津大学;2009年

10 王静思;基于语言转换的嵌入式软PLC系统的研究与设计[D];华中科技大学;2011年

本文编号：1781834