当前位置:主页 > 科技论文 > 计算机论文 >

基于GPU-Hadoop的并行计算框架研究与实现

发布时间:2018-02-03 06:06

  本文关键词: 云计算 图形处理器 并行计算 Hadoop 海洋流场可视化 MapReduce 出处:《计算机应用研究》2014年08期  论文类型:期刊论文


【摘要】:针对原生的Hadoop云平台处理海洋环境信息可视化效率不高的问题,提出了一种GPU嵌入Hadoop云平台的并行计算框架。该框架以原生Hadoop为基础,GPU并行计算与MapReduce相结合,实现了高效的海洋流场可视化和特征可视化。实验结果表明,提出的并行计算框架在处理数据密集型和计算密集型的海洋数据的效率上优于原生的Hadoop云平台,可达到6~8倍的加速比。因此,提出的云平台框架可以有效提高海洋信息可视化的计算效率,对我国海洋事业的信息可视化发展具有重要的推动作用。
[Abstract]:According to the original Hadoop cloud platform of marine environment information visualization efficiency is not high, proposed a parallel GPU embedded Hadoop cloud computing platform framework. This framework is based on the original Hadoop, GPU parallel computing is combined with MapReduce, realized the visualization and visualization of ocean flow characteristics of high efficiency. Experimental results show that the proposed efficiency the parallel computing framework of marine data intensive computing in data intensive and the better than the original Hadoop cloud platform, the speedup can reach 6~8 times. Therefore, the computational efficiency of cloud platform framework proposed can effectively improve the ocean information visualization, information visualization plays an important role in promoting the development of China's marine industry.

【作者单位】: 中国海洋大学信息科学与工程学院;烟台大学计算机学院;
【基金】:海洋公益性行业科研专项经费资助项目(201105033) 山东省自然科学基金资助项目(ZR2012FL07)
【分类号】:TP338.6
【正文快照】: 近年来,随着海洋强国的提出,我国海洋事业进入了高速发展期,海洋环境信息可视化[1]工作的重要性日益突出。海洋环境信息数据随之飞速增长,加速海洋数据处理成为了必然趋势。针对海洋信息可视化要求的插值精度逐步升高、处理速度进一步加快,以及原生态的基于CPU的Hadoop[2]在处

【参考文献】

相关期刊论文 前3条

1 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

2 王加亮;秦勃;刘健健;刘妮;;基于MapReduce的交互可视化平台[J];电信科学;2012年09期

3 卢风顺;宋君强;银福康;张理论;;CPU/GPU协同并行计算研究综述[J];计算机科学;2011年03期

【共引文献】

相关期刊论文 前10条

1 王伟;;基于Hadoop的分布式索引集群的研究[J];电脑知识与技术;2011年35期

2 王加亮;秦勃;刘健健;刘妮;;基于MapReduce的交互可视化平台[J];电信科学;2012年09期

3 杨芳菊;;基于CPU/GPU异构平台并行优化的研究[J];电脑编程技巧与维护;2012年18期

4 刘军志;朱阿兴;秦承志;陈腊娇;吴辉;江净超;;分布式水文模型的并行计算研究进展[J];地理科学进展;2013年04期

5 方留杨;王密;李德仁;;CPU和GPU协同处理的光学卫星遥感影像正射校正方法[J];测绘学报;2013年05期

6 杨清山;刘X;熊飞;钟立俊;邴丕浩;;基于GPU的并行区域场强计算[J];电子信息对抗技术;2013年06期

7 辛晃;易兴辉;陈震宇;;基于Hadoop+MPP架构的电信运营商网络数据共享平台研究[J];电信科学;2014年04期

8 方留杨;王密;李德仁;潘俊;;负载分配的CPU/GPU高分辨率卫星影像调制传递补偿方法[J];测绘学报;2014年06期

9 洪亮;周松涛;罗伊;石婷婷;胡飞;;海量遥感数据的GPU通用加速计算技术[J];地理空间信息;2014年03期

10 邢星星;赵国兴;骆祖莹;方浩;;基于GPU的全源最短路径算法[J];计算机科学;2012年03期

相关会议论文 前2条

1 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

2 ;Research on DSP-GPU Heterogeneous Computing System[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

相关博士学位论文 前2条

1 江涵;大规模电力系统暂态稳定并行计算研究[D];浙江大学;2012年

2 周勇;基于并行计算的数据流处理方法研究[D];大连理工大学;2013年

相关硕士学位论文 前10条

1 杨博;深穿透粒子输运蒙特卡罗模拟的CPU/GPU协同算法研究[D];国防科学技术大学;2011年

2 石志才;异构平台上协同计算的相关研究[D];国防科学技术大学;2011年

3 王翔;球谐函数展开快速算法及其并行算法研究[D];国防科学技术大学;2011年

4 吕东川;基于并行计算的脑电信号分析方法研究[D];燕山大学;2012年

5 栗超;一种三维可视化系统的优化策略[D];燕山大学;2012年

6 刁兴光;独立成分算法在GPU上的实现[D];大连理工大学;2012年

7 宋爱青;基于Hadoop的日志分析系统的设计与实现[D];中国地质大学(北京);2012年

8 赵琳琳;非均匀地层随钻电磁波测井电磁响应的研究[D];山东大学;2012年

9 李国栋;基于异构计算平台的列数据库并行查询技术研究与实现[D];华南理工大学;2012年

10 沈玉琳;通用GPU计算技术在高性能计算平台上的应用研究[D];兰州大学;2012年

【二级参考文献】

相关期刊论文 前4条

1 ;Multi-scale HPC system for multi-scale discrete simulation—Development and application of a supercomputer with 1 Petaflops peak performance in single precision[J];Particuology;2009年04期

2 卢风顺;宋君强;银福康;张理论;;CPU/GPU协同并行计算研究综述[J];计算机科学;2011年03期

3 吴恩华;图形处理器用于通用计算的技术、现状及其挑战[J];软件学报;2004年10期

4 曾诚;李兵;何克清;;云计算的栈模型研究[J];微电子学与计算机;2009年08期

相关硕士学位论文 前2条

1 吴强;GPU加速高速粒子碰撞模拟[D];国防科学技术大学;2009年

2 方旭东;面向大规模科学计算的CPU-GPU异构并行技术研究[D];国防科学技术大学;2009年

【相似文献】

相关期刊论文 前10条

1 孙家昶;并行计算环境与数值并行算法研究[J];小型微型计算机系统;1995年02期

2 刘羽,卢振晓,邱南辉;基于PVM的机群实验系统的建立及应用[J];广西工学院学报;2005年02期

3 刘巧英;乔玉兰;孙玉强;;并行技术领域中调度算法研究[J];中国科技信息;2009年05期

4 宋君强;龚西平;张理论;赵文涛;吴建平;;细长矩阵的块正交化方法[J];计算机工程与科学;2010年04期

5 杨文有;;基于MPI的动态负载均衡任务分配方法设计实现[J];淮南师范学院学报;2010年03期

6 ;2003年全国开放式分布与并行计算学术会议(DPCS2003) 征文通知[J];小型微型计算机系统;2002年11期

7 王小伟,郭力,葛蔚,杨章远;高性能并行集群计算环境的构建与性能测试[J];小型微型计算机系统;2004年03期

8 王小鸽;;关于多核技术的几点思考[J];程序员;2006年09期

9 魏存祥;龚建春;仉洪云;;基于ANSYS的并行计算发展及实现[J];机械工程师;2007年10期

10 史维;;基于MPI环境的并行算法在有限元分析中的应用与研究[J];内蒙古石油化工;2008年17期

相关会议论文 前10条

1 王同权;于万瑞;冯煜芳;;微机集群的并行蒙特卡罗模拟[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年

2 贾美丽;弓建军;孙承意;;PMEC在集群计算机上的实现[A];2003年中国智能自动化会议论文集(下册)[C];2003年

3 周昆;潘益农;王东勇;朱红芳;;中尺度数值模式在IBMP690上的并行测试[A];信息技术在气象领域的开发应用论文集(一)[C];2005年

4 莫倩芸;钟诚;;机群系统上并行计算时间序列的动态弯曲距离[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

5 黄宇光;;整体同步并行计算方法的现状与发展[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年

6 史光梅;何颖波;吴瑞安;莫军;李阳春;张亚林;;面向对象有限元并行计算框架PANDA研究进展[A];中国计算力学大会'2010(CCCM2010)暨第八届南方计算力学学术会议(SCCM8)论文集[C];2010年

7 李烨;梁雄健;;云计算发展的技术瓶颈浅析[A];两化融合与物联网发展学术研讨会论文集[C];2010年

8 戴涛;杨耀忠;;油藏模拟集群并行负载平衡技术研究[A];第九届全国渗流力学学术讨论会论文集(二)[C];2007年

9 吴君辉;曹祥玉;杨逸;;一种车载天线特性的并行计算方法[A];2011年全国微波毫米波会议论文集(下册)[C];2011年

10 廖振民;袁仙春;;MFIC程序在YH-2机上的并行计算[A];中国工程物理研究院科技年报(1998)[C];1998年

相关重要报纸文章 前10条

1 均儿;通用计算核动力[N];电脑报;2009年

2 英特尔并行计算实验室研究员 TimothyMattson;并行计算:减少串行软件[N];中国计算机报;2007年

3 英特尔 赵军(Jun Zhao);PC机并行计算革命尚未成功[N];中国计算机报;2009年

4 ;并行计算成PC产业发展瓶颈[N];人民邮电;2008年

5 刘霞;计算能力的提升需要一场革命[N];科技日报;2010年

6 张云泉;并行计算:迎接多核时代的挑战[N];计算机世界;2006年

7 陈文光;并行计算的普及与挑战[N];中国电子报;2008年

8 ;2012年或出现64核心桌面处理器[N];中国电脑教育报;2008年

9 梁敏;“天河一号”牛气冲天[N];电脑报;2009年

10 英特尔中国区市场总监 庄海鸥;通信与计算融合引领未来[N];网络世界;2004年

相关博士学位论文 前10条

1 陈军;分布式存储环境下并行计算可扩展性的研究与应用[D];中国人民解放军国防科学技术大学;2000年

2 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

3 兰日清;大型结构三维地震反应分析并行计算方法研究[D];中国地震局工程力学研究所;2012年

4 金晶;并行计算普适编程模型及系统架构研究[D];北京邮电大学;2012年

5 刘国胜;高性能计算技术及其在电磁散射中的应用研究[D];华南理工大学;2011年

6 陈娟;低功耗软件优化技术研究[D];国防科学技术大学;2007年

7 胡悦;并行计算时间与存储空间关系研究[D];上海大学;2011年

8 王之元;并行计算可扩展性分析与优化[D];国防科学技术大学;2011年

9 戚晶晶;热物性反问题高效并行算法研究[D];武汉理工大学;2013年

10 易会战;低功耗技术研究—体系结构和编译优化[D];国防科学技术大学;2006年

相关硕士学位论文 前10条

1 韩光明;基于机群计算的热物性反问题高效分布式并行算法设计[D];武汉理工大学;2006年

2 卜祥飞;基于DSP的网络并行计算系统的设计与实现[D];云南大学;2010年

3 张建;并行计算机群的建设与管理[D];吉林大学;2011年

4 董艳辉;基于Trilinos的并行计算研究及应用[D];中国地质大学(北京);2006年

5 任晓慧;一种新的并行计算机网络[D];山东师范大学;2006年

6 陈科;基于高性能计算机的并行计算研究[D];大连理工大学;2011年

7 周伟;并行计算在海洋水龄谱模拟中的应用研究[D];河北工程大学;2013年

8 常新正;基于GPU的颗粒离散元计算方法研究[D];大连理工大学;2013年

9 于忠亮;并行计算中的I/O问题研究[D];内蒙古大学;2010年

10 赵仙勇;基于区域分解法的铝电解槽电场有限元分析并行计算研究[D];中南大学;2013年



本文编号:1486642

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/1486642.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户b443f***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com