基于分布式系统遥感图像与无人机低空遥感图像数据挖掘技术研究
发布时间：2021-05-05 22:05
随着空天遥感大数据技术的飞速发展,多维、多尺度、高分辨率的遥感影像与无人机低空遥感图像数据呈现爆发式增长。传统分类软件在对这些海量影像数据进行处理时存在耗时较长以及分类精确度浮动范围过大的问题。为保证分类精度在合理范围波动的前提下进一步提升分类效率,本文将Flink流处理运算架构与Hadoop分布式系统相结合,从集群过载保护、预防数据倾斜两个方面来进行优化,设计了一种基于Flink的快速无人机遥感图像分类处理方案。本文开展的具体工作内容如下:针对现有遥感图像与无人机低空遥感图像数据量大、地物信息复杂的特性,将Flink分布式流处理引入到遥感图像数据分类过程之中。为防止在多线程处理过程中的异步化、耦合、线程安全等问题的出现,本文在利用Flink集群从Hadoop分布式文件系统HDFS中读取图像时,以流的方式进行处理,与普通的处理模式相比能有效缩短数据读取时间,并减少无谓的I/O消耗。为解决客户端在与集群服务器在海量图像交互处理时过载问题,本文利用Kafka对Flink集群在的Checkpoint机制进行了优化与改进,提出了一种Flink集群进行海量图像数据处理时故障暂存的优化方案。通过判...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
符号说明
第1章 绪论
1.1 课题背景与研究的目的和意义
1.2 国内外研究进展与现状
1.2.1 分布式系统架构研究现状
1.2.2 遥感分类算法研究现状
1.2.3 在遥感图像分类领域的分布式系统应用现状
1.3 论文主要研究目标、内容及创新点
1.4 论文主要工作与组织结构
第2章 分布式系统遥感图像数据挖掘理论与相关技术
2.1 Hadoop分布式系统
2.1.1 分布式文件系统HDFS
2.1.2 分布式集群资源管理系统YARN
2.2 Flink分布式计算处理技术
2.2.1 Flink分布式处理体系架构与基本特性
2.2.2 Flink流处理模块DataStream API
2.2.3 Flink Kafka Connector
2.3 遥感图像分类技术及相关理论
2.3.1 遥感图像分类处理平台
2.3.2 无监督分类算法
2.4 本章小结
第3章 基于Flink的遥感图像快速分类系统设计
3.1 系统设计要求与总体设计方案
3.2 基于Flink-HDFS遥感与无人机图像数据读取策略
3.3 基于Kafka的数据缓存保护策略设计
3.4 基于Flink分布式遥感图像分类处理优化方法
3.5 本章小结
第4章 系统实现及相关测试
4.1 基于Flink快速分类系统测试环境搭建
4.2 传统遥感图像实验验证及分析
4.2.1 相关指标评价标准
4.2.2 实验主要内容
4.2.3 Salinas高光谱遥感图像
4.3 无人机低空遥感图像库实验验证及分析
4.3.1 实验数据源
4.3.2 实验内容与结果
4.4 本章小结
第5章 总结与展望
5.1 总结
5.2 展望
附录
参考文献
致谢
攻读学位期间发表学术论文和参加科研情况
学位论文评阅及答辩情况表
【参考文献】：
期刊论文
[1]基于熵加权K-means全局信息聚类的高光谱图像分类[J]. 李玉,甄畅,石雪,赵泉华. 中国图象图形学报. 2019(04)
[2]一种基于谱聚类算法的高光谱遥感图像分类方法[J]. 杨随心,耿修瑞,杨炜暾,赵永超,卢晓军. 中国科学院大学学报. 2019(02)
[3]阿里巴巴的大数据之路JStorm与Blink的发展史[J]. 林琳. 计算机与网络. 2019(02)
[4]结合最大似然算法和波利亚罐模型的全色遥感图像分类[J]. 李杰,李玉,王玉,赵泉华. 测绘通报. 2018(04)
[5]基于Hadoop的海量小文件存储优化方法[J]. 刘君. 厦门理工学院学报. 2017(03)
[6]基于Hadoop的高性能GIS云计算平台研究[J]. 李茜. 南方国土资源. 2015(12)
[7]基于HDFS的云存储安全技术研究[J]. 余琦,凌捷. 计算机工程与设计. 2013(08)
硕士论文
[1]Hadoop集群中小文件的存取优化研究[D]. 马振.新疆大学 2019
[2]遥感影像智能解译技术的研究与应用[D]. 郭聪聪.哈尔滨工业大学 2019
[3]基于Spark平台的K-Means++算法的研究及其应用[D]. 杜佳颖.南昌大学 2019
[4]基于Spark的高光谱图像分布式并行分类[D]. 沈俊灵.南京理工大学 2018
[5]基于核稀疏表示的高光谱图像分类[D]. 徐春华.湖北大学 2018
[6]基于Spark平台的支持向量机并行化遥感图像分类算法研究[D]. 黄乐乐.华东师范大学 2018
[7]云计算平台下遥感图像分类算法的并行化技术研究[D]. 刘震.南京理工大学 2017
本文编号：3170665
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
符号说明
第1章 绪论
1.1 课题背景与研究的目的和意义
1.2 国内外研究进展与现状
1.2.1 分布式系统架构研究现状
1.2.2 遥感分类算法研究现状
1.2.3 在遥感图像分类领域的分布式系统应用现状
1.3 论文主要研究目标、内容及创新点
1.4 论文主要工作与组织结构
第2章 分布式系统遥感图像数据挖掘理论与相关技术
2.1 Hadoop分布式系统
2.1.1 分布式文件系统HDFS
2.1.2 分布式集群资源管理系统YARN
2.2 Flink分布式计算处理技术
2.2.1 Flink分布式处理体系架构与基本特性
2.2.2 Flink流处理模块DataStream API
2.2.3 Flink Kafka Connector
2.3 遥感图像分类技术及相关理论
2.3.1 遥感图像分类处理平台
2.3.2 无监督分类算法
2.4 本章小结
第3章 基于Flink的遥感图像快速分类系统设计
3.1 系统设计要求与总体设计方案
3.2 基于Flink-HDFS遥感与无人机图像数据读取策略
3.3 基于Kafka的数据缓存保护策略设计
3.4 基于Flink分布式遥感图像分类处理优化方法
3.5 本章小结
第4章 系统实现及相关测试
4.1 基于Flink快速分类系统测试环境搭建
4.2 传统遥感图像实验验证及分析
4.2.1 相关指标评价标准
4.2.2 实验主要内容
4.2.3 Salinas高光谱遥感图像
4.3 无人机低空遥感图像库实验验证及分析
4.3.1 实验数据源
4.3.2 实验内容与结果
4.4 本章小结
第5章 总结与展望
5.1 总结
5.2 展望
附录
参考文献
致谢
攻读学位期间发表学术论文和参加科研情况
学位论文评阅及答辩情况表
【参考文献】：
期刊论文
[1]基于熵加权K-means全局信息聚类的高光谱图像分类[J]. 李玉,甄畅,石雪,赵泉华. 中国图象图形学报. 2019(04)
[2]一种基于谱聚类算法的高光谱遥感图像分类方法[J]. 杨随心,耿修瑞,杨炜暾,赵永超,卢晓军. 中国科学院大学学报. 2019(02)
[3]阿里巴巴的大数据之路JStorm与Blink的发展史[J]. 林琳. 计算机与网络. 2019(02)
[4]结合最大似然算法和波利亚罐模型的全色遥感图像分类[J]. 李杰,李玉,王玉,赵泉华. 测绘通报. 2018(04)
[5]基于Hadoop的海量小文件存储优化方法[J]. 刘君. 厦门理工学院学报. 2017(03)
[6]基于Hadoop的高性能GIS云计算平台研究[J]. 李茜. 南方国土资源. 2015(12)
[7]基于HDFS的云存储安全技术研究[J]. 余琦,凌捷. 计算机工程与设计. 2013(08)
硕士论文
[1]Hadoop集群中小文件的存取优化研究[D]. 马振.新疆大学 2019
[2]遥感影像智能解译技术的研究与应用[D]. 郭聪聪.哈尔滨工业大学 2019
[3]基于Spark平台的K-Means++算法的研究及其应用[D]. 杜佳颖.南昌大学 2019
[4]基于Spark的高光谱图像分布式并行分类[D]. 沈俊灵.南京理工大学 2018
[5]基于核稀疏表示的高光谱图像分类[D]. 徐春华.湖北大学 2018
[6]基于Spark平台的支持向量机并行化遥感图像分类算法研究[D]. 黄乐乐.华东师范大学 2018
[7]云计算平台下遥感图像分类算法的并行化技术研究[D]. 刘震.南京理工大学 2017
本文编号：3170665
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3170665.html
