面向列存储模式的时空对象查询处理技术研究

发布时间：2017-11-02 16:05

  本文关键词：面向列存储模式的时空对象查询处理技术研究

  更多相关文章： 列数据库 列存储 HBase 分布式 时空数据 时空索引

【摘要】：随着全球定位技术的发展以及信息采集技术的进步,时空数据急剧增长。面对海量、多样、复杂的时空数据,如何对其高效存储和管理成为国内外学者研究的热点问题。传统集中式时空索引的单服务器环境难以满足海量时空数据的存储和查询开销,构建分布式时空索引成为必然趋势。面向列存储模式的分布式数据库较传统面向行存储的关系型数据库在海量数据处理方面具有极大优势,其以列为单位存取数据的模式以及高可用、并行式、易扩展、动态负载均衡等特性为海量时空数据的存储管理提供了解决思路。本文在以HBase为例的面向列存储模式数据库和时空索引的理论基础上,设计了两种新型的面向列存储模式的时空索引,并对两种索引的建立、查询算法设计、索引维护和优化进行了详细描述,最后采用HBase列数据库,通过实验分析评价了两种索引的性能。论文主要成果如下:(1)提出了一种面向列存储模式的时空索引结构。本文在深入研究列存储模式数据库和时空索引的理论基础上,结合列数据库分布式环境特点和以往的时空索引技术,提出了一种面向列存储模式的时空索引结构,并对构建时空索引相关技术进行了选取改进以适应新的面向列的分布式环境。这为之后的时空索引构建打下了良好的基础。(2)提出了基于“无表”结构面向列存储模式的时空索引。通过研究时空数据在列数据库中的存储模式,针对列数据库时空对象数据模型,提出了三种rowkey的设计模式,并设计了相应的时空数据存储结构。通过比较选取最优的空间转换组合模式的rowkey设计及相应的数据存储结构,建立了基于“无表”结构面向列存储模式的时空索引。描述了该索引的建立过程,设计了索引的时空范围查询和时空最邻近查询的算法,并给出了索引维护和优化策略。(3)提出了基于“二级表”结构面向列存储模式的时空索引。沿用最优的rowkey设计模式及相应的数据存储结构,建立了时间级和时间空间级两级索引表结构的基于“二级表”结构面向列存储模式的时空索引。描述了两级索引表建立算法和索引过程,设计了两级索引表结构的时空范围查询和时空最邻近查询的算法,并给出了索引维护和优化策略。(4)针对两种索引进行了实验检验并分析评价了索引性能。采用HBase列数据库,通过一系列实验检验了两种时空索引的性能,并对实验结果总结分析、客观评价。
【关键词】：列数据库 列存储 HBase 分布式 时空数据 时空索引
【学位授予单位】：国防科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.13;TP333
【目录】：

• 摘要9-10
• ABSTRACT10-12
• 第一章 绪论12-22
• 1.1 研究背景12-13
• 1.2 研究意义13-14
• 1.3 国内外研究现状14-17
• 1.3.1 分布式时空索引技术研究现状14-16
• 1.3.2 云环境下分布式索引技术研究现状16-17
• 1.4 论文主要工作17-20
• 1.5 论文结构20-22
• 第二章 面向列存储模式的时空对象查询处理技术理论基础22-40
• 2.1 面向列存储模式的数据库简介22-26
• 2.1.1 面向列存储模式的HBase数据模型22-23
• 2.1.2 面向列存储模式的HBase存储模式23-24
• 2.1.3 面向列存储模式的HBase特性24-25
• 2.1.4 面向列存储模式的HBase集群运作模式25-26
• 2.2 时空对象简介26-30
• 2.2.1 时空对象的分类26
• 2.2.2 时空对象的特性26-28
• 2.2.3 时空对象数据模型28-29
• 2.2.4 时空对象数据存储29-30
• 2.2.5 时空对象查询方式30
• 2.3 时空索引结构30-32
• 2.3.1 分布式时空索引结构30-31
• 2.3.2 面向列存储模式的时空索引结构31-32
• 2.4 索引空间划分模式32-36
• 2.4.1 基于对象的划分33
• 2.4.2 基于空间的划分33-36
• 2.5 索引空间填充曲线36-39
• 2.5.1 常见空间填充曲线介绍36-37
• 2.5.2 Hilbert曲线编码37-38
• 2.5.3 Hilbert编码转换坐标38-39
• 2.6 本章小结39-40
• 第三章 基于“无表”结构面向列存储模式的时空索引40-54
• 3.1 索引构建整体结构40-41
• 3.2 时空对象数据在列数据库中存储模式41-48
• 3.2.1 面向列存储模式的时空对象数据模型41
• 3.2.2 rowkey的设计41-43
• 3.2.3 列数据库表结构模型43-48
• 3.3 时空索引的建立48-49
• 3.3.1 空间信息转换48
• 3.3.2 索引信息的过程48-49
• 3.4 时空索引查询算法设计49-52
• 3.4.1 时空范围查询算法设计49-51
• 3.4.2 时空最邻近查询算法设计51-52
• 3.5 时空索引的维护和优化52-53
• 3.5.1 时空索引维护52
• 3.5.2 时空索引优化52-53
• 3.6 本章小结53-54
• 第四章 基于“二级表”结构面向列存储模式的时空索引54-62
• 4.1 索引构建整体结构54-55
• 4.2 时空索引的建立55-57
• 4.2.1 时间空间级索引表建立55-56
• 4.2.2 时间级索引表建立56-57
• 4.2.3 索引信息的过程57
• 4.3 时空索引查询算法设计57-59
• 4.3.1 时空范围查询算法设计57-59
• 4.3.2 时空最邻近查询算法设计59
• 4.4 时空索引的维护和优化59-61
• 4.4.1 时空索引维护59
• 4.4.2 时空索引优化59-61
• 4.5 本章小结61-62
• 第五章 实验性能评价及结果分析62-74
• 5.1 实验环境62-65
• 5.1.1 实验平台62-63
• 5.1.2 实验数据集描述63
• 5.1.3 实验参数设置63-65
• 5.2 实验结果与分析65-72
• 5.2.1 数据插入速率65-66
• 5.2.2 不同数据集对范围查询响应时间影响66-67
• 5.2.3 不同查询时间下范围查询响应时间67-68
• 5.2.4 不同查询空间下范围查询响应时间68-69
• 5.2.5 不同K值时空最邻近查询响应时间69-71
• 5.2.6“无表”结构索引的集中式和分布式查询算法效率比较71-72
• 5.3 两种索引性能评价72-73
• 5.4 本章小结73-74
• 第六章 总结与展望74-77
• 6.1 主要工作与创新74-75
• 6.2 未来研究工作75-77
• 致谢77-79
• 参考文献79-84
• 作者在学期间取得的学术成果84

【参考文献】

中国期刊全文数据库 前10条

1 Chun-Ling Cheng;Chun-Ju Sun;Xiao-Long Xu;Deng-Yin Zhang;;A Multi-dimensional Index Structure Based on Improved VA-file and CAN in the Cloud[J];International Journal of Automation and Computing;2014年01期

2 叶小平;周畅;廖青云;朱峰华;;DTindex:分布式时态索引技术[J];华南师范大学学报(自然科学版);2013年03期

3 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期

4 孙哲;李昌银;;构建核电高可用云存储系统[J];电力信息化;2012年10期

5 张，

本文编号：1132242