云计算环境下多源异构遥感大数据管理关键技术研究

发布时间：2020-07-07 01:31

【摘要】：随着遥感卫星技术的不断发展,一方面造成了遥感卫星传感器、遥感数据类型的不断增加,另一方面也导致了遥感数据体量的急剧增长,这给遥感数据的管理、存储与组织带来了巨大的挑战,与此同时,由于遥感数据本身所具有的时空等多维度特征,越来越多的遥感应用开始关注于利用遥感数据集的时间等维度进行分析与处理,而在现有的多卫星数据中心云计算环境下,数据的获取、分享与时序数据组织分析效率低下。因此如何进行云计算环境下的多源遥感大数据管理,从而为用户提供对于时空数据集的高效的按需获取、数据共享、时序数据组织等服务,是当前遥感数据管理领域亟需解决的重要问题。针对以上问题,本文依托于“863项目—星机地综合定量遥感系统与应用示范(二期)”项目,利用云计算的海量数据存储、虚拟化、弹性扩展、按需服务等优点,针对多源异构大数据的数据量大、数据组织困难、数据服务低效等特点,重点研究了云计算环境下针对遥感数据分析应用用户的多源遥感数据的存储、组织、数据按需订阅、数据共享等服务的具体实现以及在此基础上的数据立方体分析环境的构建。主要包括以下几点:(1)对于来自不同数据源的异构遥感数据,通过引入地理信息元数据标准建立元数据映射模板,实现多源遥感数据的统一格式转换,并在此基础上实现对于遥感数据的统一检索。另外按照归档数据以及计算分析数据的不同特点,为遥感影像数据的存储采取不同的组织方式。(2)针对遥感数据的按需获取与数据共享服务,本文在OpenStack-Swift对象存储的基础上,首先提出了基于对象文件的虚拟目录设计方案,为用户提供了类似于文件系统的可以进行层级目录管理的云空间,然后提出了虚拟映射与虚拟视图的概念,通过共享数据存储与虚拟视图组织来为用户提供高效的时空数据订阅与数据共享服务。(3)针对多维遥感数据的数据处理与分析,本文结合Open Data Cube数据立方体技术,利用云存储中的组织好的Landsat、Modis、GF等时空数据集,为用户提供了基于内存的多维数据模型构建与时序数据分析环境,并通过NDVI以及水体检测算法为例进行了验证。通过开展以上研究,本文实现了对于异构多源遥感数据的统一管理,并在此基础上,为遥感云平台中的数据分析用户提供了云空间数据组织、时空数据订阅、数据共享等服务,并通过数据立方体为用户构建了时序数据的分析环境,为用户针对多源异构数据的统一检索、组织、订阅共享以及分析处理提供了系统而完整的解决方案。本文的创新点在于通过参考元数据相关标准构建了统一元数据模型从而实现了对于多源异构遥感数据组织及数据检索服务。通过对于云存储以及虚拟映射组织的研究,实现了面向多用户的时空数据集订阅及共享服务,有效避免了数据共享时候的数据传输与重复组织,保证用户能够高效而便捷的获取到所需的数据。
【学位授予单位】：中国科学院大学(中国科学院遥感与数字地球研究所)
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P237
【图文】：

遥感影像,多维时空,数组,多维数据模型

图 2.1 多维时空数组分析模式E Data Cube 实现了对于多维遥感时空数据集的数据模型表征以及时空序列分析而对于归档的遥感影像数据需要将其先转化为多维数组的格式导入数据库中进这极大的增加了海量数据归档时的时间开销以及存储开销，另外对于多源遥感的异构性问题，INPE Data Cube 并没有给出较好的易扩展的数据管理方案。2） AGDCstralian Geoscience Data Cube（AGDC）是澳大利亚地球科学中心研发的一套针感时空数据的归档以及分析的数据立方体系统，支持多种多源异构的遥感数据有较强的可扩展性[53]。其底层利用文件存储的格式来管理遥感影像数据，通过据库来管理遥感元数据。对于多维数据模型的构建，AGDC 没有使用在物理存多维数据模型的方案，而是利用元数据库来组织管理遥感影像数据文件，先通像文件的数据链接以及元数据信息构成一个逻辑上的多维数据模型，之后将所件读入内存中构建为基于多维数组的时空多维数据模型，其中的维度包括数据间，空间，波段，分辨率等，这使得该时空数据模型在数据抽取和计算上十分

遥感影像,架构设计

图 2.2 AGDC 架构设计采用元数据来组织管理归档的遥感影像数据，AGDC 具有良好的可扩展性，遥感影像数据，无需对影像数据本身进行格式转化，只需将元数据提取并归即可。另一方面，AGDC 团队对外提供了开源版本的数据立方体 OpenDataC得到了许多国际组织与研究机构的支持与合作，例如地球观测卫星委员会（C上构建了自己的数据立方体数据管理与分析系统。OpenDataCube 目前仍然改进中，下一步的计划是利用 AmazonS3 提供的云存储以及计算资源建立数析平台，为全球用户提供便捷的大规模多维时空数据分析服务。章小结首先简述了随着遥感技术发展多源遥感数据管理所面临的诸多问题，在论述据组织与存储的几种主要方案的基础上，首先说明了目前常用的多源异构遥理方法；然后综合分析了目前对于多源遥感数据的时空数据集组织与共享的其所面临的若干问题与不足；最后分析了多维遥感数据时空序列分析的应用

示意图,格网,三级,示意图

第三章基于元数据模板映射的多源遥感数据统一组织型，GLTS（ClobalLogicalTileScheme）格网模型[60]，在 UTM 投影（Unercator Projection）下按照2 × 2 +1的全球经纬度网格进行划分。其中初网格，然后每个网格cell在通过四叉树划分得到子单元，形成更低的一级格。其中每个网格可以通过格网的行列号来获取。

【参考文献】