支持云计算环境的MapReduce模拟器设计

发布时间：2018-03-14 13:30

  本文选题：MapReduce　切入点：Hadoop框架　出处：《信阳师范学院学报(自然科学版)》2015年03期 　论文类型：期刊论文

【摘要】：针对云计算环境下很难确定出有助于实现良好性能的Hadoop参数集的问题,设计了一种MapReduce模拟器.首先,对Hadoop的各种参数进行建模;然后,集群读取元件从集群中读取参数,从而创建模拟的Hadoop集群环境;最后,利用作业跟踪器跟踪模拟的作业,并利用任务跟踪器运行单个任务.所设计的模拟器从多角度研究Hadoop应用的性能,集中模拟Hadoop的映射和化简行为,弥补了MRPerf设计的不足.在基准测试结果和用户自定义MapReduce应用中验证了模拟器的有效性.
[Abstract]:In order to solve the problem that it is difficult to determine the Hadoop parameter set which is helpful to achieve good performance in cloud computing environment, a MapReduce simulator is designed. Firstly, the various parameters of Hadoop are modeled; then, the cluster reading component reads the parameters from the cluster. Finally, the simulated job tracker is used to track the simulated jobs, and the task tracker is used to run a single task. The simulator is designed to study the performance of the Hadoop application from various angles. The mapping and simplification behavior of Hadoop is simulated centrally, which makes up for the deficiency of MRPerf design. The validity of simulator is verified in benchmark test results and user-defined MapReduce applications.
【作者单位】： 平顶山学院软件学院;
【基金】：国家自然科学基金项目(61103143) 河南省科技计划项目(134300510037) 平顶山学院青年科研基金项目(QNJJ-2013010)
【分类号】：TP337

【参考文献】

相关期刊论文 前3条

1 潘巍;李战怀;伍赛;陈群;;基于消息传递机制的MapReduce图算法研究[J];计算机学报;2011年10期

2 邓传华;范通让;高峰;;Hadoop下基于统计最优的资源调度算法[J];计算机应用研究;2013年02期

3 陈吉荣;乐嘉锦;;基于MapReduce的Hadoop大表导入编程模型[J];计算机应用;2013年09期

【共引文献】

相关期刊论文 前10条

1 王宇灿;李一飞;袁勤俭;;国际大数据研究热点及前沿演化可视化分析[J];工程研究-跨学科视野中的工程;2014年03期

2 孙赵旭;谢晓兰;周国清;倪金生;胡莘;;基于Hadoop的Apriori算法与实现[J];桂林理工大学学报;2014年03期

3 冷泳林;申华;鲁富宇;;基于P-Rank的RDF有向图的分布式存储[J];重庆理工大学学报(自然科学);2015年01期

4 孟祥萍;周来;王晖;纪秀;;基于hadoop云平台的智能电网MapReduce数据计算技术研究[J];电测与仪表;2015年10期

5 梁秋实;吴一雷;封磊;;基于MapReduce的微博用户搜索排名算法[J];计算机应用;2012年11期

6 靳朋飞;曹菡;余婧;崔云飞;;MapReduce模型下Voronoi图栅格生成算法[J];计算机科学与探索;2013年02期

7 刘树仁;宋亚奇;朱永利;王德文;;基于Hadoop的智能电网状态监测数据存储研究[J];计算机科学;2013年01期

8 赵保学;李战怀;陈群;潘巍;姜涛;金健;;基于共享的MapReduce多查询优化技术[J];计算机应用研究;2013年05期

9 吕雪栋;冯志勇;王鑫;饶国政;付宇新;;StepMatch:一种基于BSP计算模型的SPARQL基本图模式匹配算法[J];计算机研究与发展;2013年S2期

10 朱立红;杨鹤标;;海量结构化数据查询系统的研究与实现[J];计算机应用与软件;2014年02期

相关会议论文 前1条

1 潘巍;李战怀;陈群;索博;李卫榜;;面向MapReduce的非对称分片复制连接算法优化技术研究[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

相关博士学位论文 前1条

1 于乐;社会网络中社团发现及网络演化分析[D];北京邮电大学;2014年

相关硕士学位论文 前10条

1 周俊;基于头型冲击器的行人头部保护研究及其局限性探讨[D];湖南大学;2012年

2 周俊清;基于Hadoop平台的分布式任务调度算法研究[D];湖南大学;2012年

3 杨婷;基于MapReduce的好友推荐系统的研究与实现[D];北京邮电大学;2013年

4 魏炎炎;异构Hadoop平台性能分析及其调度算法优化研究[D];合肥工业大学;2013年

5 郭德锋;基于Hadoop的云平台模型的性能研究与优化[D];西北大学;2013年

6 李步源;基于云计算的协同过滤算法并行化研究[D];郑州大学;2013年

7 周飞凤;MapReduce在科学计算中的研究与改进[D];安徽大学;2013年

8 党晓;基于MapReduce的对称可搜索加密方案[D];西安电子科技大学;2013年

9 邓传华;Hadoop云平台下作业与资源调度机制的改进研究[D];石家庄铁道大学;2013年

10 刘冲;MapReduce作业调度算法研究[D];哈尔滨工程大学;2013年

【二级参考文献】

相关期刊论文 前2条

1 王珊;王会举;覃雄派;周p，

本文编号：1611419