海量空间数据的分布式存储管理及并行处理技术研究
发布时间：2022-07-13 12:14
随着空间数据规模的不断增长,空间分析和处理技术的复杂程度不断增加,使得对海量空间数据进行高效管理和处理的难度不断加大,迫切需要新的技术和方法来管理和处理海量空间数据。分布式存储和并行计算为解决上述问题提供了一种新的方法。本文针对当前空间数据存储和处理方法存在的若干不足,在总结应用问题和需求的基础上,着重在基于HBase的海量空间数据管理技术和海量空间数据并行处理方法等方面进行深入研究,主要取得了以下研究成果:（1）深入研究了空间数据存储系统与并行处理方法,为并行空间数据的存储与处理提供具体的理论指导,并指出了传统方法存储和处理海量空间数据存在的不足。（2）深入研究了架构在分布式文件系统上的存储系统HBase,为空间数据的分布式存储管理提供技术支撑。设计了适合分布式存储的并行索引,提出了基于HBase的空间数据管理方法,并通过与传统存储方法的对比实验,验证了HBase在海量空间数据分布式存储方面性能的优越性。（3）设计并实现了基于Map Reduce并行编程框架的海量空间数据并行处理引擎Map ReduceGIS。由于Map Reduce不直接支持空间数据的关系连接,设计了一种基于Map...
【文章页数】：68 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 课题背景和来源
1.2 国内外研究现状
1.2.1 空间数据存储技术研究现状
1.2.2 并行计算技术研究现状
1.3 论文研究内容和论文组织结构
第二章 分布式存储与并行处理相关技术
2.1 空间数据存储系统概述
2.1.1 空间数据库
2.1.2 分布式数据库系统
2.1.3 Hadoop 分布式文件系统
2.2 并行处理方法概述
2.2.1 Map Reduce
2.2.2 并行查询
2.2.3 GIS 标准库
2.3 现有技术的不足
2.3.1 空间数据存储系统
2.3.2 地理信息系统
2.4 本章小结
第三章 基于HBase 的海量空间数据管理技术
3.1 HBase 体系分析
3.1.1 HBase 数据模型
3.1.2 HBase 实现机制
3.2 并行Hilbert R-Tree 索引设计
3.2.1 基于Hilbert 空间填充曲线的数据划分
3.2.2 并行Hilbert R-Tree 索引设计
3.3 基于HBase 的海量空间数据管理
3.3.1 空间数据管理流程
3.3.2 矢量数据管理
3.3.3 栅格数据管理
3.4 HBase 与关系数据库的对比实验
3.4.1 HBase 与关系数据库的区别
3.4.2 测试实验
3.5 本章小结
第四章 海量空间数据并行处理方法的设计与实现
4.1 需求分析
4.2 Map ReduceGIS 设计
4.2.1 体系结构
4.2.2 流程分析
4.3 Map ReduceGIS 实现
4.3.1 Map ReduceGIS 环境搭建
4.3.2 核心模块实现
4.3.3 操作模块实现
4.3.4 索引模块实现
4.3.5 其它模块实现
4.4 基于Map Reduce 的并行空间连接
4.4.1 并行空间连接处理体系结构
4.4.2 Map 阶段
4.4.3 Reduce 阶段
4.5 本章小结
第五章 并行处理实验结果与分析
5.1 实验配置
5.2 Map ReduceGIS 操作实验
5.2.1 新增实验
5.2.2 读取实验
5.2.3 最近邻实验
5.3 可用性分析
5.3.1 执行性评估
5.3.2 编程能力评估
5.3.3 可扩展能力评估
5.4 本章小结
第六章 结论与展望
6.1 主要研究成果
6.2 下一步工作
致谢
参考文献
攻读硕士学位期间取得的学术成果
【参考文献】：
期刊论文
[1]并行计算的一体化研究现状与发展趋势[J]. 陈国良,孙广中,徐云,龙柏. 科学通报. 2009(08)
[2]一种面向并行空间数据库的数据划分算法研究[J]. 赵春宇,孟令奎,林志勇. 武汉大学学报(信息科学版). 2006(11)
[3]基于Oracle Spatial的Shapefile数据存储研究[J]. 孙荣辉,刘先林,赵文吉. 首都师范大学学报(自然科学版). 2006(05)
[4]海量影像数据库管理系统关键技术研究[J]. 樊小泊,陈红. 计算机工程与应用. 2006(30)
[5]海量影像无缝数据库管理系统的设计及实现[J]. 杨忠德,李明禄,李鲁群. 计算机工程与应用. 2004(30)
[6]浅谈栅格数据结构及其压缩编码方法[J]. 刘於勋,李国伟,马丽. 郑州工业高等专科学校学报. 2004(03)
[7]Shapefile文件转换为GML文件的方法[J]. 张竟,陆嵘,吴健平. 地理与地理信息科学. 2004(01)
[8]大型GIS海量数据分布式组织与管理[J]. 马荣华,黄杏元. 南京大学学报(自然科学版). 2003(06)
[9]分布式并行计算环境:MPI[J]. 王萃寒,赵晨,许小刚,吴国新. 计算机科学. 2003(01)
[10]ShapeFile图形文件的数据导出方法研究[J]. 胡顺全,谭向农. 石油工业计算机应用. 2001(04)
博士论文
[1]基于对象—关系模型的空间数据建模研究[D]. 赵俊美.中国地质大学（北京） 2007
硕士论文
[1]海量遥感影像数据存储技术研究[D]. 刘伟.国防科学技术大学 2007
[2]全球海量遥感影像数据的分布式管理技术研究[D]. 刘露.国防科学技术大学 2007
本文编号：3660023
【文章页数】：68 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 课题背景和来源
1.2 国内外研究现状
1.2.1 空间数据存储技术研究现状
1.2.2 并行计算技术研究现状
1.3 论文研究内容和论文组织结构
第二章 分布式存储与并行处理相关技术
2.1 空间数据存储系统概述
2.1.1 空间数据库
2.1.2 分布式数据库系统
2.1.3 Hadoop 分布式文件系统
2.2 并行处理方法概述
2.2.1 Map Reduce
2.2.2 并行查询
2.2.3 GIS 标准库
2.3 现有技术的不足
2.3.1 空间数据存储系统
2.3.2 地理信息系统
2.4 本章小结
第三章 基于HBase 的海量空间数据管理技术
3.1 HBase 体系分析
3.1.1 HBase 数据模型
3.1.2 HBase 实现机制
3.2 并行Hilbert R-Tree 索引设计
3.2.1 基于Hilbert 空间填充曲线的数据划分
3.2.2 并行Hilbert R-Tree 索引设计
3.3 基于HBase 的海量空间数据管理
3.3.1 空间数据管理流程
3.3.2 矢量数据管理
3.3.3 栅格数据管理
3.4 HBase 与关系数据库的对比实验
3.4.1 HBase 与关系数据库的区别
3.4.2 测试实验
3.5 本章小结
第四章 海量空间数据并行处理方法的设计与实现
4.1 需求分析
4.2 Map ReduceGIS 设计
4.2.1 体系结构
4.2.2 流程分析
4.3 Map ReduceGIS 实现
4.3.1 Map ReduceGIS 环境搭建
4.3.2 核心模块实现
4.3.3 操作模块实现
4.3.4 索引模块实现
4.3.5 其它模块实现
4.4 基于Map Reduce 的并行空间连接
4.4.1 并行空间连接处理体系结构
4.4.2 Map 阶段
4.4.3 Reduce 阶段
4.5 本章小结
第五章 并行处理实验结果与分析
5.1 实验配置
5.2 Map ReduceGIS 操作实验
5.2.1 新增实验
5.2.2 读取实验
5.2.3 最近邻实验
5.3 可用性分析
5.3.1 执行性评估
5.3.2 编程能力评估
5.3.3 可扩展能力评估
5.4 本章小结
第六章 结论与展望
6.1 主要研究成果
6.2 下一步工作
致谢
参考文献
攻读硕士学位期间取得的学术成果
【参考文献】：
期刊论文
[1]并行计算的一体化研究现状与发展趋势[J]. 陈国良,孙广中,徐云,龙柏. 科学通报. 2009(08)
[2]一种面向并行空间数据库的数据划分算法研究[J]. 赵春宇,孟令奎,林志勇. 武汉大学学报(信息科学版). 2006(11)
[3]基于Oracle Spatial的Shapefile数据存储研究[J]. 孙荣辉,刘先林,赵文吉. 首都师范大学学报(自然科学版). 2006(05)
[4]海量影像数据库管理系统关键技术研究[J]. 樊小泊,陈红. 计算机工程与应用. 2006(30)
[5]海量影像无缝数据库管理系统的设计及实现[J]. 杨忠德,李明禄,李鲁群. 计算机工程与应用. 2004(30)
[6]浅谈栅格数据结构及其压缩编码方法[J]. 刘於勋,李国伟,马丽. 郑州工业高等专科学校学报. 2004(03)
[7]Shapefile文件转换为GML文件的方法[J]. 张竟,陆嵘,吴健平. 地理与地理信息科学. 2004(01)
[8]大型GIS海量数据分布式组织与管理[J]. 马荣华,黄杏元. 南京大学学报(自然科学版). 2003(06)
[9]分布式并行计算环境:MPI[J]. 王萃寒,赵晨,许小刚,吴国新. 计算机科学. 2003(01)
[10]ShapeFile图形文件的数据导出方法研究[J]. 胡顺全,谭向农. 石油工业计算机应用. 2001(04)
博士论文
[1]基于对象—关系模型的空间数据建模研究[D]. 赵俊美.中国地质大学（北京） 2007
硕士论文
[1]海量遥感影像数据存储技术研究[D]. 刘伟.国防科学技术大学 2007
[2]全球海量遥感影像数据的分布式管理技术研究[D]. 刘露.国防科学技术大学 2007
本文编号：3660023
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3660023.html
