基于Spark框架的乘潮水位计算与可视化平台

发布时间：2018-01-02 23:07

本文关键词：基于Spark框架的乘潮水位计算与可视化平台　出处：《计算机工程与科学》2015年12期 　论文类型：期刊论文

【摘要】：乘潮水位计算是海洋环境信息处理的重要组成部分,具有计算量大、计算复杂度高、计算时间长等特性。采用传统集群计算模式实现乘潮水位计算业务,存在计算成本高、计算伸缩性和交互性差的问题。针对以上问题,提出一种基于Spark框架的乘潮水位计算和可视化平台。结合对Spark任务调度算法的研究,设计和实现了一种基于节点计算能力的任务调度算法,实现了长时间序列的多任务乘潮水位数据的检索、获取、数值计算、特征可视化的并行处理,达到了海量海洋环境数据计算和可视化处理的目的。实验结果表明,提出的基于Spark的乘潮水位计算和可视化平台可以有效地提高海量乘潮水位数据的分布式并行处理的效率,为更加快速和高效的乘潮水位计算提供了一种新的方法。
[Abstract]:Tidal water level meter is an important part of marine environmental information processing. It has the characteristics of large amount of calculation, high computational complexity and long calculation time. The traditional cluster computing mode is used to realize the operation of tidal level calculation. There are the problems of high computing cost, poor scalability and interactivity. This paper presents a platform for tidal level calculation and visualization based on Spark framework. Based on the research of Spark task scheduling algorithm, a task scheduling algorithm based on node computing ability is designed and implemented. The parallel processing of multi-task tidal level data retrieval, acquisition, numerical calculation and feature visualization of long time series is realized. The purpose of calculating and visualizing the massive marine environment data is achieved. The experimental results show that. The proposed platform for tidal level calculation and visualization based on Spark can effectively improve the efficiency of distributed parallel processing of mass tidal level data. A new method is provided for faster and more efficient calculation of tidal level.
【作者单位】：中国海洋大学信息科学与工程学院;国家海洋信息中心;
【基金】：海洋公益性行业科研专项经费资助项目(201105033)
【分类号】：P731.23;TP338.8
【正文快照】： 1引言随着海洋经济和海洋开发在社会发展中的作用越来越大,海洋科学技术更加受到重视,数字海洋[1]项目的立项和实施,是我国海洋事业发展的一个重要体现。计算机技术的飞速发展在不断改变着海洋环境信息业务化处理的方法,各种新技术和新方法被应用到海洋信息的处理当中来。在十

【相似文献】