空间数据分布式存储与并行处理方法研究及其在林业领域的应用
发布时间：2023-04-01 07:58
森林资源涉及的一系列环节都离不开客观、现实、准确的数据,然而,传统的森林资源监测和调查方法已不能满足快速准确的数据需求,3S与计算机技术等现代化的分析管理技术在森林调查管理上扮演着愈发重要的作用。随着3S技术的快速发展,全球每天都在集成大量的空间数据,地理空间大数据时代已经到来,对海量空间数据进行高效组织存储及快速处理成为研究热点,遥感影像及空间矢量作为典型的空间数据,已被广泛应用于林业、军事、测绘、交通等领域,许多研究者对这两种空间数据展开分布式存储与并行处理研究,取得了一定的成果,但在当前研究中,没有很好地结合数据特性设计存储结构,更鲜有在优化存储的基础上加速并行处理,因而当面向体量更大的数据及实时性要求更高的应用时,当前研究将到达瓶颈。本文针对遥感影像及空间矢量数据在分布式存储以及并行处理研究中的不足之处,基于大数据云计算技术,开展遥感影像及空间矢量数据分布式存储与并行处理方法研究,提出了高效快速的空间数据存储模型及并行处理方法,并设计实现了数据存储到处理的接口,最后将研究成果应用到林业领域,并行反演森林植被覆盖度。本文研究内容如下:(1)研究遥感影像分布式存储模型。为解决当前存...
【文章页数】：135 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
1 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 地理空间大数据时代的到来
1.2.2 遥感影像分布式存储及并行处理研究现状
1.2.2.1 遥感影像分布式存储研究现状
1.2.2.2 遥感影像并行处理研究现状
1.2.3 空间矢量数据分布式存储及并行处理研究现状
1.2.3.1 空间矢量数据分布式存储研究现状
1.2.3.2 空间矢量数据并行处理研究现状
1.2.4 空间矢量数据索引研究现状
1.2.5 当前研究不足之处
1.3 论文研究内容与技术路线
1.3.1 研究内容
1.3.2 技术路线
1.4 论文组织结构
2 相关技术介绍
2.1 分布式文件系统
2.1.1 HDFS
2.1.2 Alluxio
2.2 并行计算技术
2.2.1 MapReduce
2.2.2 Spark
2.3 本章小结
3 遥感影像分布式存储模型
3.1 遥感影像特性分析
3.1.1 影像数据模型
3.1.2 遥感影像数据访问
3.2 遥感影像分布式存储模型的设计与实现
3.2.1 HDFS小文件问题
3.2.2 键值对容器
3.2.3 索引后的键值对容器
3.2.4 影像数据块编号
3.2.4.1 矩形块划分编号
3.2.4.2 行划分编号
3.2.4.3 列划分编号
3.2.5 遥感影像分布式存储模型-MapImge
3.2.6 模型存取接口
3.3 实验与分析
3.3.1 实验环境与实验数据
3.3.2 实验结果与分析
3.4 本章小结
4 空间矢量数据分布式存储模型
4.1 矢量数据模型
4.1.1 空间关系型矢量数据
4.1.2 面向对象型矢量数据
4.1.3 矢量瓦片金字塔
4.1.4 矢量瓦片格式-mvt
4.2 矢量数据分布式存储模型的设计与实现
4.2.1 矢量空间索引
4.2.2 内存键值对容器
4.2.3 矢量数据分布式存储模型-VectorTileStore
4.2.4 模型存取接口
4.3 实验与分析
4.3.1 实验环境与实验数据
4.3.2 实验结果与分析
4.4 本章小结
5 空间数据并行处理
5.1 遥感影像金字塔并行构建及加载
5.1.1 数据预处理
5.1.2 并行构建及加载流程
5.1.3 实验与分析
5.2 矢量瓦片金字塔并行构建及加载
5.2.1 数据预处理
5.2.2 并行构建及加载流程
5.2.3 实验与分析
5.3 存储模型并行输入格式
5.3.1 InputFormat抽象类
5.3.2 MapImage并行输入格式
5.3.3 VectorTileStore并行输入格式
5.3.4 实验与分析
5.4 矢量空间并行查询
5.4.1 空间查询
5.4.2 并行查询流程
5.4.2.1 第一层过滤
5.4.2.2 第二层过滤
5.4.2.3 空间连接并行查询
5.4.3 实验与分析
5.5 遥感影像并行镶嵌
5.5.1 数据预处理
5.5.2 并行镶嵌流程
5.5.3 实验与分析
5.6 空间数据并行处理接口
5.7 本章小结
6 植被覆盖度遥感并行反演
6.1 研究区域与数据
6.2 影像分布式存储
6.3 数据预处理与植被覆盖度反演模型
6.3.1 数据预处理
6.3.2 植被覆盖度反演模型
6.4 植被覆盖度并行反演流程
6.5 实验与分析
6.5.1 实验环境与实验数据
6.5.2 实验结果与分析
6.6 本章小结
结论
参考文献
攻读学位期间发表的学术论文
致谢
本文编号：3776764
【文章页数】：135 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
1 绪论
1.1 研究背景与意义
1.2 国内外研究现状
1.2.1 地理空间大数据时代的到来
1.2.2 遥感影像分布式存储及并行处理研究现状
1.2.2.1 遥感影像分布式存储研究现状
1.2.2.2 遥感影像并行处理研究现状
1.2.3 空间矢量数据分布式存储及并行处理研究现状
1.2.3.1 空间矢量数据分布式存储研究现状
1.2.3.2 空间矢量数据并行处理研究现状
1.2.4 空间矢量数据索引研究现状
1.2.5 当前研究不足之处
1.3 论文研究内容与技术路线
1.3.1 研究内容
1.3.2 技术路线
1.4 论文组织结构
2 相关技术介绍
2.1 分布式文件系统
2.1.1 HDFS
2.1.2 Alluxio
2.2 并行计算技术
2.2.1 MapReduce
2.2.2 Spark
2.3 本章小结
3 遥感影像分布式存储模型
3.1 遥感影像特性分析
3.1.1 影像数据模型
3.1.2 遥感影像数据访问
3.2 遥感影像分布式存储模型的设计与实现
3.2.1 HDFS小文件问题
3.2.2 键值对容器
3.2.3 索引后的键值对容器
3.2.4 影像数据块编号
3.2.4.1 矩形块划分编号
3.2.4.2 行划分编号
3.2.4.3 列划分编号
3.2.5 遥感影像分布式存储模型-MapImge
3.2.6 模型存取接口
3.3 实验与分析
3.3.1 实验环境与实验数据
3.3.2 实验结果与分析
3.4 本章小结
4 空间矢量数据分布式存储模型
4.1 矢量数据模型
4.1.1 空间关系型矢量数据
4.1.2 面向对象型矢量数据
4.1.3 矢量瓦片金字塔
4.1.4 矢量瓦片格式-mvt
4.2 矢量数据分布式存储模型的设计与实现
4.2.1 矢量空间索引
4.2.2 内存键值对容器
4.2.3 矢量数据分布式存储模型-VectorTileStore
4.2.4 模型存取接口
4.3 实验与分析
4.3.1 实验环境与实验数据
4.3.2 实验结果与分析
4.4 本章小结
5 空间数据并行处理
5.1 遥感影像金字塔并行构建及加载
5.1.1 数据预处理
5.1.2 并行构建及加载流程
5.1.3 实验与分析
5.2 矢量瓦片金字塔并行构建及加载
5.2.1 数据预处理
5.2.2 并行构建及加载流程
5.2.3 实验与分析
5.3 存储模型并行输入格式
5.3.1 InputFormat抽象类
5.3.2 MapImage并行输入格式
5.3.3 VectorTileStore并行输入格式
5.3.4 实验与分析
5.4 矢量空间并行查询
5.4.1 空间查询
5.4.2 并行查询流程
5.4.2.1 第一层过滤
5.4.2.2 第二层过滤
5.4.2.3 空间连接并行查询
5.4.3 实验与分析
5.5 遥感影像并行镶嵌
5.5.1 数据预处理
5.5.2 并行镶嵌流程
5.5.3 实验与分析
5.6 空间数据并行处理接口
5.7 本章小结
6 植被覆盖度遥感并行反演
6.1 研究区域与数据
6.2 影像分布式存储
6.3 数据预处理与植被覆盖度反演模型
6.3.1 数据预处理
6.3.2 植被覆盖度反演模型
6.4 植被覆盖度并行反演流程
6.5 实验与分析
6.5.1 实验环境与实验数据
6.5.2 实验结果与分析
6.6 本章小结
结论
参考文献
攻读学位期间发表的学术论文
致谢
本文编号：3776764
本文链接：https://www.wllwen.com/nykjlw/lylw/3776764.html
