基于Spark的物理海洋大数据云计算技术研究

发布时间：2023-05-07 16:47

　　近年来,大数据、云计算等新兴技术快速发展,在电子商务、教育、医疗、交通等领域已经得到广泛的应用。云计算能够给用户提供可靠的、自定义的、最大化资源利用的服务,具有安全的数据存储、方便快捷的互联网服务和强大的计算能力等特点。目前,我国正在大力发展海洋事业,随着海洋探测技术的不断完善和优化,海洋数据表现出了海量化、复杂性、多样化等特征,给数据管理、利用和海洋知识挖掘等带来巨大的挑战。本论文研究了基于Hadoop和Spark的云计算技术,设计了一种针对物理海洋数据的云存储和处理方案,并将这一方案应用在数据的统计分析中。相比传统的文件服务器处理模式在配置成本高、处理效率较低、编程模型复杂等方面的不足,基于Hadoop和Spark的云计算技术在分布式数据存储和并行计算方面有明显的优势。针对海洋大数据的分布式存储,本论文采用HDFS作为底层存储框架,并对HDFS的整体架构以及数据如何写入、分块、备份和恢复进行了深入研究,并与本地文件系统做了对比;针对海洋大数据的分析处理,本论文采用Spark和Yarn相结合的方式进行并行框架设计,并基于RDD构建NetCDF分布式数据集,通过重写数据读取接口对大范围...

【文章页数】：82 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 选题背景和意义
    1.2 国内外研究现状
    1.3 论文的研究内容
    1.4 论文的组织结构
    1.5 本章小结
2 物理海洋数据处理需求分析
    2.1 海洋数据特点
    2.2 海洋数据存储格式
    2.3 海洋数据的处理方法分析
    2.4 本章小结
3 基于Hadoop和Spark的云计算方案设计
    3.1 基于Hadoop和Spark的云计算架构设计
    3.2 基于HDFS的物理海洋数据存储设计
    3.3 基于Spark内存云的物理海洋大数据处理框架设计
    3.4 面向物理海洋大数据处理的Spark性能调优
    3.5 本章小结
4 实验环境搭建与效率对比
    4.1 硬件环境
    4.2 软件环境
    4.3 Hadoop和Spark集群环境搭建
    4.4 效率对比
    4.5 本章小结
5 波高-周期散布图统计分析应用
    5.1 波高-周期散布图统汁算法
    5.2 波高-周期联合分布季节性变化分析
    5.3 波高-周期联合分布地理特征分析
    5.4 有效波高重现期极值推算分析
    5.5 本章小结
6 总结和展望
    6.1 总结
    6.2 展望
参考文献
致谢
攻读硕士期间参与的科研项目



本文编号：3810948