基于云计算的大规模无人机遥感数据处理的优化研究

发布时间：2020-07-05 10:15

【摘要】：无人机遥感技术已大量应用于资源调查、环境监测等领域,在具体应用中涉及到大量遥感图像的分析和处理。目前,对这些数据的存储、使用均存在一定困难,将云计算技术和GIS技术应用于遥感图像处理,为遥感图像的存储与管理提供了新的思路。本文结合Hadoop云计算架构和GIS技术,以无人机遥感图像作为数据源,设计了从瓦片数据的生成到瓦片数据存入HBase再到数据查询的过程。首先,本文详细分析了云计算在GIS方面的应用,包括二者的特点分析、两种技术结合后的优势以及技术难点。其次,本文介绍了相关理论与技术,包括Hadoop架构原理、瓦片数据定义、云计算技术和瓦片技术结合的优势以及瓦片金字塔的概念和原理,为具体研究和实现做了技术准备。然后,本文基于Hadoop云计算架构,设计了瓦片数据的产生、存储以及查询的过程。该过程分为数据处理阶段、存储阶段和查询阶段。数据处理阶段使用MapReduce并行计算模型以并行的方式生成瓦片,该阶段本文根据集群计算能力和需要生成的瓦片数据总量提出了改进的任务分配方式,充分利用集群资源提高了瓦片生成效率;存储阶段在HBase中以Hilbert编码作为索引方式构建了瓦片金字塔存储模型,利用Hilbert曲线的特性提高了存储与索引的效率;查询阶段,本文针对Hilbert空间填充曲线在查询区域的分段特性,提出了基于多线程的改进查询算法,相较于传统的查询方式,提高了查询效率。最后,本文搭建了 Hadoop集群,在集群上进行了一系列的实验,实验表明本文提出的基于改进的任务分配策略的并行瓦片生成方法、基于Hilbert曲线和瓦片金字塔模型的瓦片存储方法以及改进的查询方法相较于其他方法具有更高的效率。
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP751
【图文】：

优点,体系结构

图２－１邋ＨＤＦＳ体系结构逡逑ＨＤＦＳ的结构决定了它具有以下优点：逡逑

地图,多尺度图像,金字塔模型,金字塔

有时长时间加载图片还会导致系统奔溃。另外，用户一般只需要查看某个缩逡逑放级别下的部分区域，但之前下载了整个地图数据，会造成数据的泄露，为了平逡逑衡地图影像的显示精度与效率，人们提出了瓦片金字塔的概念［４１，４２］。如图２－４所逡逑示为４层的瓦片金字塔结构。逡逑图２－４四层结构的瓦片金字塔模型逡逑瓦片金字塔是一种多尺度图像存储方式。它能以多分辨率的方式有效地解释逡逑图像结构。金字塔图像是一组分辨率逐渐降低的图像［４３］。要构成完整的瓦片金字逡逑塔，首先要确定地图缩放级别的数量Ｎ，把分辨最高、地图尺度最大的图片作为逡逑金字塔的底部，记为第０层。把底层的瓦片分割成大小相同的正方形地图瓦片（一逡逑１６逡逑

【参考文献】