一种基于HBase的海量空间遥感数据检索系统

发布时间：2017-05-03 15:01

  本文关键词：一种基于HBase的海量空间遥感数据检索系统，由笔耕文化传播整理发布。

【摘要】：遥感技术作为一门综合性的对地观测技术,在军事、农业、矿产、海洋等各个领域扮演者越来越重要的角色。近年来我国的遥感卫星技术取得了长足地发展,遥感影像的数据级别已经从TB级别向PB级别发展,数据类型也越来越趋于多样化。不同应用领域的需求对遥感影像数据及相关数据的存储与高效检索提出了越来越高的要求。遥感元数据作为描述遥感影像数据的最为重要的数据结构,具有结构复杂,信息量大,产生频率高等特点。传统的关系型数据在存储海量的遥感元素据信息时存在读写性能不理想,可扩展性差等缺点。本系统在实验室项目的基础上结合对HBase[1]等NoSQL技术的研究,设计并实现了一个基于Elasticsearch[2]和HBase的分布式空间遥感数据检索系统Zodic。针对HBase在检索功能上的不足,本系统实现了一种在基于HBase的类SQL的查询引擎,支持包括关键字查询、聚合查询、空间查询等。既满足了遥感元素多样化的检索需求,又很好地利用了HBase在可扩展性上的优势。同时针对遥感元数据在全文检索、语义检索上的需求,本系统实现了基于Elasticsearch的分布式遥感影像全文检索系统。实验结果表明,本文设计的系统原型具有高性能、高可扩展的特点,能够很好地实现海量遥感元数据的高效检索。
【关键词】：遥感元数据 NoSQL SQL HBase Elasticsearch 空间索引
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP751
【目录】：

• 摘要3-4
• Abstract4-11
• 第1章 绪论11-19
• 1.1 课题背景11-12
• 1.2 研究现状12-16
• 1.2.1 NASA EOSDIS系统12-13
• 1.2.2 ArcGIS系统13-14
• 1.2.3 SuperMap SDX+空间数据检索引擎14-15
• 1.2.4 其他空间遥感数据存储检索管理系统15-16
• 1.3 研究目的16-17
• 1.4 本文贡献及创新点17-18
• 1.5 论文结构18
• 1.6 本章小结18-19
• 第2章 背景技术19-28
• 2.1 SQL及关系型数据库19-20
• 2.2 NoSQL技术20-23
• 2.2.1 Key-Value数据库(键值数据库)21
• 2.2.2 面向列的数据库21-22
• 2.2.3 Graph数据库(图形数据库)22
• 2.2.4 文档数据库22-23
• 2.3 HBase23-25
• 2.4 Elasticsearch25-26
• 2.5 空间索引技术26-27
• 2.6 本章小结27-28
• 第3章 系统总体架构与设计28-38
• 3.1 总体功能与要求28-30
• 3.1.1 系统总体要求28-29
• 3.1.2 功能设计29-30
• 3.2 系统总体架构30-32
• 3.2.1 系统总体架构30-31
• 3.2.2 数据持久化层31
• 3.2.3 检索查询服务层31-32
• 3.2.4 全文检索服务层32
• 3.3 系统总体流程32-36
• 3.3.1 数据的查询流程32-34
• 3.3.2 数据的插入流程34-36
• 3.4 本章小结36-38
• 第4章 基于HBase的类SQL检索系统38-57
• 4.1 子系统结构38-39
• 4.1.1 查询服务器39
• 4.1.2 HBase数据存储服务器39
• 4.2 查询语言语法39-44
• 4.2.1 字段过滤查询40-42
• 4.2.2 聚合查询42
• 4.2.3 空间查询42-44
• 4.3 查询解析器44-47
• 4.3.1 HBase Coprocessor实现46-47
• 4.4 查询缓存模块47-50
• 4.4.1 查询缓存Key的设计48-49
• 4.4.2 缓存算法49
• 4.4.3 查询缓存的缺陷49-50
• 4.5 基于HBase的ORM模块50-53
• 4.5.1 Java对象与HBase数据表之间的映射50-52
• 4.5.2 Java基本数据类型与HBase byte类型的映射52-53
• 4.6 测试实验53-55
• 4.6.1 测试环境53
• 4.6.2 测试结果53-55
• 4.6.3 测试结论55
• 4.7 本章小结55-57
• 第5章 基于K-d树的分布式空间索引设计57-71
• 5.1 功能与需求57
• 5.2 基于K-d树的空间索引设计57-62
• 5.2.1 空间多维数据降维实现58-59
• 5.2.2 基于最长前缀的空间划分机制59-61
• 5.2.3 基于K-d Tree的空间索引61-62
• 5.3 基于K-d Tree空间查询算法的实现62-65
• 5.3.1 空间索引表主键的及表结构设计62
• 5.3.2 数据的插入62-63
• 5.3.3 空间查询的实现63-65
• 5.4 基于HBase的空间索引数据的存储设计65-67
• 5.5 性能测试67-69
• 5.5.1 测试环境67
• 5.5.2 测试结果67-69
• 5.5.3 结果分析69
• 5.6 本章小结69-71
• 第6章 遥感影像全文检索子系统71-79
• 6.1 子系统结构71-72
• 6.2 HBase数据同步模块72-75
• 6.2.1 需求分析72-73
• 6.2.2 基于HBase Cluster Replication机制的数据同步实现73-75
• 6.3 遥感影像全文检索模块75-78
• 6.3.1 需求分析75
• 6.3.2 全文检索信息的提取75-76
• 6.3.3 全文检索mapping的定义76-77
• 6.3.4 中文分词插件77-78
• 6.4 本章小结78-79
• 第7章 总结与展望79-82
• 7.1 工作总结79-80
• 7.2 展望80-82
• 参考文献82-85
• 攻读硕士学位期间主要的研究成果85-87
• 致谢87

【共引文献】

中国期刊全文数据库 前10条

1 梁晔,须德,许宏丽;一种Omni-顺序扫描的补充算法[J];北方交通大学学报;2003年05期

2 梁晔,须德;基于焦点和角度的多维索引方法[J];北京交通大学学报;2005年02期

3 张科;高峗;;基于Web的Access后台数据库窗体设计与控件引用——以《图书与情报》稿件采编系统为例[J];图书与情报;2008年03期

4 刘乘;任亚东;;几种常用缓冲材料的性能研究[J];包装工程;2010年07期

5 王会婷;;油田勘探项目库的建设与推广[J];重庆工学院学报(自然科学版);2008年02期

6 王英强;石永生;;B+树在数据库索引中的应用[J];长江大学学报(自然科学版)理工卷;2008年01期

7 刘建粉,张睿哲,张俊峰;XML与数据集成技术浅析[J];平顶山工学院学报;2003年02期

8 王会婷;庄海宁;;油田综合数据库的建立与实现[J];重庆科技学院学报(自然科学版);2008年01期

9 王会婷;王成敏;;油田勘探生产管理系统的开发与应用[J];重庆科技学院学报(自然科学版);2010年01期

10 俞建;;二调数据库管理系统设计与应用[J];测绘与空间地理信息;2011年04期

  本文关键词：一种基于HBase的海量空间遥感数据检索系统，由笔耕文化传播整理发布。

，

本文编号：343197