基于Spark平台的遥感图像处理研究
发布时间：2021-11-15 00:00
随着遥感图像处理技术的不断发展,遥感图像处理方式从传统的人工目视解译、单机处理向着算法智能化、分布式集群处理方向发展。本文基于分布式内存计算框架Spark,深入研究了分布式环境下遥感图像并行化处理问题,设计了一种分布式遥感图像存储管理方式,提出了一种并行化的遥感图像场景分类算法,最后设计构建了基于Spark平台的遥感图像处理系统。本文主要研究内容如下:（1）基于分布式存储系统进行遥感图像存储管理。本文采用分布式文件系统HDFS进行原始遥感图像数据的一级存储,保证图像数据的安全可靠,避免对原始数据的破坏性修改。在此基础之上,通过HBase面向列式的非关系型数据库,对遥感图像数据进行二级存储,设计了面向列式的遥感图像数据划分策略,对大尺度遥感图像数据进行数据划分,统一存储于HBase中,完成了遥感图像数据的分布式存储管理功能。（2）基于分布式环境下遥感图像场景分类问题的并行化研究。本文通过研究分布式环境下遥感图像场景分类问题,提出了基于人工信息特征SURF和深度学习语义特征的遥感图像场景分类并行算法。首先对于遥感图像数据提取SURF特征,采用VLAD算法重编码形成规范化的特征信息;然后采用...
【文章来源】：兰州交通大学甘肃省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
全球卫星遥感产业规模变化
基于Spark平台的遥感图像处理研究-16-遥感图像场景判别提供信息依据。如图3.4所示，对于不同的遥感图像场景内容，从目视角度可以清楚看到产生有不同的特征描述点信息。图3.2遥感图像尺度空间构建示意图图3.3SURF特征描述示意图图3.4部分遥感图像SURF特征示意图为了增强SURF特征的信息表达能力，形成规则化的特征描述信息，本文对提取到的SURF特征采用VLAD[42]算法进行特征重编码，在保留特征信息的同时，降低SURF特征的复杂度，从而形成规则化的人工特征信息。首先采用KMeans聚类算法对提取到的SURF特征重新进行训练，获取到码本信息，然后按照3.4式，将每幅图像的SURF特征按照最近邻原则分配到K个聚类中心上，之后对每个聚类中心，按照3.5式计算残差和，最后将所有的vi向量串接在一起，并按照3.6式做l2归一化处理，从而得到最终规则化的编码特征。经过VLAD算法重新编码之后的特征在保留原有SURF特征信息量的同时，形成更为规则化的特征描述，从而能够更好地适用于遥感图像场景判别。()argmin||||kiikuNNx=xu(3.4)
基于Spark平台的遥感图像处理研究-16-遥感图像场景判别提供信息依据。如图3.4所示，对于不同的遥感图像场景内容，从目视角度可以清楚看到产生有不同的特征描述点信息。图3.2遥感图像尺度空间构建示意图图3.3SURF特征描述示意图图3.4部分遥感图像SURF特征示意图为了增强SURF特征的信息表达能力，形成规则化的特征描述信息，本文对提取到的SURF特征采用VLAD[42]算法进行特征重编码，在保留特征信息的同时，降低SURF特征的复杂度，从而形成规则化的人工特征信息。首先采用KMeans聚类算法对提取到的SURF特征重新进行训练，获取到码本信息，然后按照3.4式，将每幅图像的SURF特征按照最近邻原则分配到K个聚类中心上，之后对每个聚类中心，按照3.5式计算残差和，最后将所有的vi向量串接在一起，并按照3.6式做l2归一化处理，从而得到最终规则化的编码特征。经过VLAD算法重新编码之后的特征在保留原有SURF特征信息量的同时，形成更为规则化的特征描述，从而能够更好地适用于遥感图像场景判别。()argmin||||kiikuNNx=xu(3.4)
【参考文献】：
期刊论文
[1]基于深度学习的场景识别方法综述[J]. 李新叶,朱婧,麻丽娜. 计算机工程与应用. 2020(05)
[2]遥感卫星大数据产业化应用[J]. 傅俏燕,隋正伟,龚亚丽. 卫星应用. 2019(10)
[3]分布式并行遥感图像处理中的数据划分[J]. 王玉坤. 电子技术与软件工程. 2019(14)
[4]图像场景分类技术综述[J]. 田艳玲,张维桐,张锲石,路纲,吴晓军. 电子学报. 2019(04)
[5]基于Apache Spark的海量图像并行检索[J]. 曹健,张俊杰,李海生,蔡强. 计算机应用. 2018(S2)
[6]遥感大数据时代与智能信息提取[J]. 张兵. 武汉大学学报(信息科学版). 2018(12)
[7]基于分布式云架构的航天遥感大数据处理技术[J]. 杨峰,李津,李鹏程. 电子信息对抗技术. 2018(04)
[8]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[9]Spark并行计算框架的内存优化[J]. 廖旺坚,黄永峰,包从开. 计算机工程与科学. 2018(04)
[10]深度学习方法用于遥感图像处理的研究进展[J]. 罗仙仙,曾蔚,陈小瑜,张东水,庄世芳. 泉州师范学院学报. 2017(06)
博士论文
[1]内存计算框架性能优化关键技术研究[D]. 卞琛.新疆大学 2017
[2]高分辨率光学遥感图像场景理解关键技术研究[D]. 姚西文.西北工业大学 2016
硕士论文
[1]基于GPU的Spark计算框架性能模型研究[D]. 吴梦玲.华南理工大学 2019
[2]Ceph异构存储优化机制研究[D]. 姚朋成.重庆邮电大学 2019
[3]Spark下遥感影像分类加速研究[D]. 黄震.新疆大学 2018
[4]遥感大数据存储管理方法及交互可视化实现研究[D]. 余洁.中国矿业大学 2018
[5]遥感大数据的存储与应用研究[D]. 周杰民.华中科技大学 2017
本文编号：3495618
【文章来源】：兰州交通大学甘肃省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
全球卫星遥感产业规模变化
基于Spark平台的遥感图像处理研究-16-遥感图像场景判别提供信息依据。如图3.4所示，对于不同的遥感图像场景内容，从目视角度可以清楚看到产生有不同的特征描述点信息。图3.2遥感图像尺度空间构建示意图图3.3SURF特征描述示意图图3.4部分遥感图像SURF特征示意图为了增强SURF特征的信息表达能力，形成规则化的特征描述信息，本文对提取到的SURF特征采用VLAD[42]算法进行特征重编码，在保留特征信息的同时，降低SURF特征的复杂度，从而形成规则化的人工特征信息。首先采用KMeans聚类算法对提取到的SURF特征重新进行训练，获取到码本信息，然后按照3.4式，将每幅图像的SURF特征按照最近邻原则分配到K个聚类中心上，之后对每个聚类中心，按照3.5式计算残差和，最后将所有的vi向量串接在一起，并按照3.6式做l2归一化处理，从而得到最终规则化的编码特征。经过VLAD算法重新编码之后的特征在保留原有SURF特征信息量的同时，形成更为规则化的特征描述，从而能够更好地适用于遥感图像场景判别。()argmin||||kiikuNNx=xu(3.4)
基于Spark平台的遥感图像处理研究-16-遥感图像场景判别提供信息依据。如图3.4所示，对于不同的遥感图像场景内容，从目视角度可以清楚看到产生有不同的特征描述点信息。图3.2遥感图像尺度空间构建示意图图3.3SURF特征描述示意图图3.4部分遥感图像SURF特征示意图为了增强SURF特征的信息表达能力，形成规则化的特征描述信息，本文对提取到的SURF特征采用VLAD[42]算法进行特征重编码，在保留特征信息的同时，降低SURF特征的复杂度，从而形成规则化的人工特征信息。首先采用KMeans聚类算法对提取到的SURF特征重新进行训练，获取到码本信息，然后按照3.4式，将每幅图像的SURF特征按照最近邻原则分配到K个聚类中心上，之后对每个聚类中心，按照3.5式计算残差和，最后将所有的vi向量串接在一起，并按照3.6式做l2归一化处理，从而得到最终规则化的编码特征。经过VLAD算法重新编码之后的特征在保留原有SURF特征信息量的同时，形成更为规则化的特征描述，从而能够更好地适用于遥感图像场景判别。()argmin||||kiikuNNx=xu(3.4)
【参考文献】：
期刊论文
[1]基于深度学习的场景识别方法综述[J]. 李新叶,朱婧,麻丽娜. 计算机工程与应用. 2020(05)
[2]遥感卫星大数据产业化应用[J]. 傅俏燕,隋正伟,龚亚丽. 卫星应用. 2019(10)
[3]分布式并行遥感图像处理中的数据划分[J]. 王玉坤. 电子技术与软件工程. 2019(14)
[4]图像场景分类技术综述[J]. 田艳玲,张维桐,张锲石,路纲,吴晓军. 电子学报. 2019(04)
[5]基于Apache Spark的海量图像并行检索[J]. 曹健,张俊杰,李海生,蔡强. 计算机应用. 2018(S2)
[6]遥感大数据时代与智能信息提取[J]. 张兵. 武汉大学学报(信息科学版). 2018(12)
[7]基于分布式云架构的航天遥感大数据处理技术[J]. 杨峰,李津,李鹏程. 电子信息对抗技术. 2018(04)
[8]Spark性能优化技术研究综述[J]. 廖湖声,黄珊珊,徐俊刚,刘仁峰. 计算机科学. 2018(07)
[9]Spark并行计算框架的内存优化[J]. 廖旺坚,黄永峰,包从开. 计算机工程与科学. 2018(04)
[10]深度学习方法用于遥感图像处理的研究进展[J]. 罗仙仙,曾蔚,陈小瑜,张东水,庄世芳. 泉州师范学院学报. 2017(06)
博士论文
[1]内存计算框架性能优化关键技术研究[D]. 卞琛.新疆大学 2017
[2]高分辨率光学遥感图像场景理解关键技术研究[D]. 姚西文.西北工业大学 2016
硕士论文
[1]基于GPU的Spark计算框架性能模型研究[D]. 吴梦玲.华南理工大学 2019
[2]Ceph异构存储优化机制研究[D]. 姚朋成.重庆邮电大学 2019
[3]Spark下遥感影像分类加速研究[D]. 黄震.新疆大学 2018
[4]遥感大数据存储管理方法及交互可视化实现研究[D]. 余洁.中国矿业大学 2018
[5]遥感大数据的存储与应用研究[D]. 周杰民.华中科技大学 2017
本文编号：3495618
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3495618.html
