基于HBase的时空数据的存储与查询技术研究

发布时间：2023-05-20 04:58

　　各行业信息化的发展,催生了数据爆发式的增长;移动设备的迅速普及,加速了时空数据的产生;硬件水平以及数据挖掘等方面的进步提升了分析时空数据的能力,这些都要求有更加高效的针对大规模的时空数据存储与查询方式。传统关系型数据库,其在水平扩展方面存在天然劣势,并不适合于大规模的数据存储;分布式系统利用整个集群的计算、存储能力,可以更好地处理、存储大规模数据,例如现有的Hadoop、HBase等,具有处理、存储大规模数据的能力,但并没有提供对时空数据的存储与管理的直接支持。针对上述问题,本文研究了现有时空数据存储的相关内容,设计了LPST-Hash,并基于HBase实现了时空数据存储与查询的原型系统,该原型系统实现了时空数据的近实时插入、批量数据导入、范围查询与kNN查询等功能,具有近实时、效率高等特点。本文主要工作内容如下:(1)本文研究了现有的时空数据存储方案,根据时空数据的特点,将时空数据在时间维度进行层级划分(Level),不同类型的层级对应时间维度不同的划分粒度,来加速时空数据的查询。(2)本文研究并分析了现有空间填充曲线(space filling curve)的特点,叙述了存在的问题...

【文章页数】：89 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
    1.1 论文背景和意义
    1.2 国内外研究现状
        1.2.1 HBase的应用现状
        1.2.2 时空数据管理研究现状
    1.3 论文研究内容
    1.4 论文章节安排
第二章 相关技术概述
    2.1 HBase概述
        2.1.1 HBase模型与架构
        2.1.2 Region
        2.1.3 协处理器
    2.2 时空数据及索引相关知识概述
        2.2.1 时空数据
        2.2.2 相关索引
        2.2.3 时空查询
    2.3 本章小结
第三章 时空索引的研究与设计
    3.1 ST-Hash的问题与改进
        3.1.1 ST-Hash的问题描述
        3.1.2 ST-Hash的改进方案
    3.2 系统架构设计
    3.3 索引结构
        3.3.1 索引的组织结构
        3.3.2 分区的分裂
    3.4 表模式设计
        3.4.1 行键设计
        3.4.2 列簇设计
    3.5 本章小结
第四章 时空索引及查询的系统实现
    4.1 整体框架
    4.2 索引的实现细节
        4.2.1 索引的序列化
        4.2.2 Region分裂
        4.2.3 分区分裂
        4.2.4 索引重建
        4.2.5 索引增量更新
        4.2.6 Region移动
    4.3 时空数据录入
        4.3.1 HBase Put
        4.3.2 HBase Bulk Load
    4.4 查询的实现
        4.4.1 范围查询
        4.4.2 kNN查询
    4.5 本章小结
第五章 实验与分析
    5.1 实验环境与数据
        5.1.1 实验环境
        5.1.2 实验数据
    5.2 分区阈值的确定
    5.3 数据录入实验
    5.4 范围查询实验
    5.5 K邻近查询实验
第六章 总结展望
参考文献
致谢
作者简介



本文编号：3820584