基于SPARK的流场可视化任务处理框架研究

发布时间：2017-11-04 11:00

  本文关键词：基于SPARK的流场可视化任务处理框架研究

  更多相关文章： Hadoop Spark YARN 流场可视化

【摘要】：随着“海洋强国”的提出,中国海洋事业进入了高速发展时期,在这个蕴藏着巨大物产、能量的海洋地质宝库中,流场数据成为揭示海洋现象、预防自然灾害、研究海洋动力机制等海洋研究学科的重要理论依据。但相对其他领域环境观测来说,海洋流场的直接观察与测量较为困难,且所耗费用较高。计算海洋流场变化规律时,有成百上千个时间点,而每个时间点上又分布着成千上万个数据网格,这些时时刻刻发生变化的流场数据,恰是我们研究流场变化规律、在规律中寻找规避自然灾害、挖掘海洋应用潜力的重要数据依据。因此,流场可视化的研究工作,是我国推进海洋经济转型过程中急需的核心技术和关键性技术。在政府的大力支持下,国家海洋局拟采用最新的云计算技术针对海洋流场可视化进行技术革新,在原有基于Hadoop的流场可视化技术平台基础上进行技术创新,进一步提高流场可视化的计算效率。本文提出了基于Spark的海洋流场可视化任务处理框架,旨在利用Hadoop2.0的新增资源管理系统YARN,将Spark计算框架代替MapReduce计算框架,利用Spark中基于内存的计算模式和弹性分布式数据集RDD,将中间数据保存于磁盘和内存之中,从而降低了传统Hadoop框架的IO开销和调度时间成本,解决原有基于Hadoop MapReduce的海洋流场可视化任务处理框架下交互式计算方面的缺陷,缩短长时间空间序列场的计算时间,提高可伸缩性和增强许多不同应用程序共享集群的能力,从而进一步提升流场可视化的计算速率,提升了图形计算能力,增强用户体验。针对流场可视化的任务需求与特点,本文首先研究了Hadoop和Spark的内部核心架构和任务处理工作机制,通过测试相同数据量下Hadoop MapReduce和Spark的任务控制效率,对原有基于Hadoop MapReduce的流场可视化任务处理机制进行优化、改造,提出了基于Spark的流场可视化任务处理模式,并进行了相关可行性研究,在此基础上提出了详细的技术实现方案。最后,根据上述所提供的技术方案,针对流场可视化的具体情况对确定的云平台进行任务处理机制改进,形成基于Spark的流场可视化任务处理框架,提高了流场可视化任务处理的数据吞吐量,使流场可视化的处理速度得到大幅度的提升。本文的研究意义不仅在于提高流场可视化的计算效率,本研究还具有良好的可移植性和可扩展性,可以以此为范例,为接下来将该任务处理框架应用于各类矢量场可视化实现奠定了理论基础和实践参考,对研究云计算技术在图形学上的应用具有十分重要的意义。
【学位授予单位】：中国海洋大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.41;TP311.13

【参考文献】

中国期刊全文数据库 前2条

1 王加亮;秦勃;刘健健;刘妮;;基于MapReduce的交互可视化平台[J];电信科学;2012年09期

2 秦勃;李兵;王庆江;;基于物理特征的平面流场拓扑简化算法[J];中国海洋大学学报(自然科学版);2010年02期

中国硕士学位论文全文数据库 前1条

1 王俊娜;海洋标量场要素并行可视化研究[D];中国海洋大学;2008年

，

本文编号：1139097