遥感影像云架构存储及分类算法并行化处理技术研究与实现

发布时间：2024-03-02 09:53

　　如今遥感影像的光谱波段越来越多,分辨率也越来越高,在各个领域中受到广泛的应用,但这也带来了一些新问题,如:单景影像的数据量越来越大,深度学习分类算法处理的复杂度越来越高,如何利用分布式并行处理技术提高遥感影像分类算法的时效性,同时解决遥感数据分布式存储管理问题,是该领域必须面对的难点之一。在存储管理方面,利用分布式并行处理机制对遥感影像进行分类,就涉及到遥感数据的分布式存储问题,但当前的分布式存储方法存在索引速度慢、存储空间浪费等问题,无法对遥感影像进行高效的管理;而在影像分类方面,由于当前获取遥感图像标记数据较为困难,并且得到的影像分辨率也越来越高,在传统的单机环境下运行深度学习分类算法效率较低。本文针对以上问题,将传统的WebGIS平台以Hadoop与Spark作底层进行架构设计,实现对遥感影像的并行化处理,同样在Spark计算平台中设计了基于残差网络的遥感影像分类的并行化方法,对遥感影像进行分类。主要工作有:(1)将Hadoop与Spark作为底层架构对WebGIS平台进行改进,使其能够在HDFS中存储遥感影像,然后通过GeoHash与HBase建立索引机制,对HDFS中的数据进...

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 遥感影像存储技术的研究进展
        1.2.2 基于深度学习的遥感影像分类并行化的研究进展
    1.3 研究内容及论文结构
第二章 相关技术介绍
    2.1 OGC 标准
    2.2 Hadoop分布式系统
    2.3 HDFS分布式文件系统
    2.4 Spark分布式系统
    2.5 弹性分布数据集RDD
    2.6 卷积神经网络介绍
    2.7 残差网络介绍
    2.8 本章小结
第三章 遥感数据分布式存储与索引
    3.1 HBase数据库介绍
    3.2 基于GeoHash的索引设计
        3.2.1 GeoHash编码原理
        3.2.2 数据存储结构设计
        3.2.3 存储架构的设计
    3.3 基于Spark的处理功能
    3.4 本章小结
第四章 基于分布式Resnet的遥感影像分类并行加速
    4.1 基于残差网络的遥感图像分类
        4.1.1 残差网络模型
        4.1.2 高光谱遥感影像数据集介绍
        4.1.3 实验结果及分析
    4.2 基于残差网络的遥感分类并行化
        4.2.1 深度学习并行化模型
        4.2.2 TensorFlowOnSpark模型介绍
        4.2.3 基于残差网络的遥感分类并行化实现
        4.2.4 实验环境
        4.2.5 实验结果与分析
    4.3 本章小结
第五章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢
个人简介
附件



本文编号：3916697