地理空间实时流数据压缩与查询关键技术研究

发布时间：2023-11-04 11:54

　　随着时态地理信息系统的发展和智能移动设备的普及,全球每时每刻都在产生海量地理空间数据。大量有价值的知识和潜在的规律信息被蕴藏在数据中,这些数据的价值会随着时间的流逝而减少。因此,对时刻产生的地理空间数据进行实时处理与应用显得格外重要。地理空间数据的传统处理方式是将文件或数据库中存储的数据一次性加载到内存中,对这些数据进行处理后将得到的结果反馈给用户。该方式存在很多弊端,首先流数据是不间断产生的,并且具有无限的特性,而传统分析方法需要将所有数据都加载到内存中再进行后续分析,在数据量过大同时内存限制的环境下,传统分析方法就会失效;其次,传统处理方式在处理流数据时,通常会对数据进行循环扫描处理,而在处理流数据过程中,分析方法通常只能单遍扫描,即每个数据只会被处理一次。流数据处理方式是在数据流到来时及时处理并将结果反馈给用户。针对上述问题,本文基于Spark Streaming和HBase等核心技术设计实现了地理空间实时流数据压缩与查询技术方案。该技术实现了对地理空间数据进行实时压缩、存储管理与连续查询等功能,具有高效压缩、实时查询等优点。本文的主要工作如下:(1)针对地理空间实时流数据实时性...

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 实时流数据处理技术的研究现状
        1.2.2 轨迹压缩方法的研究现状
        1.2.3 移动对象连续查询研究现状
    1.3 研究内容与主要工作
    1.4 论文组织结构
第二章 技术背景介绍
    2.1 Spark分布式计算框架
        2.1.1 RDD弹性伸缩分布式数据集
        2.1.2 Spark集群模型
        2.1.3 Spark任务调度
    2.2 Kafka消息中间件
        2.2.1 Kafka技术的核心概念
        2.2.2 Kafka的架构和交互流程
    2.3 地理空间数据处理与应用技术
        2.3.1 地理空间数据压缩技术
        2.3.2 地理空间数据存储技术
        2.3.3 地理空间数据查询技术
    2.4 本章小结
第三章 系统总体架构与设计
    3.1 总体架构设计
    3.2 地理空间实时流数据压缩层设计
        3.2.1 地理空间实时流数据导入模型
        3.2.2 地理空间实时流数据压缩模型
    3.3 地理空间实时流数据存储层设计
        3.3.1 地理空间实时流数据的存储模型
        3.3.2 地理空间实时流数据的索引模型
    3.4 地理空间实时流数据查询层设计
        3.4.1 连续k近邻查询
        3.4.2 连续范围查询
    3.5 本章小结
第四章 地理空间实时流数据压缩关键技术研究
    4.1 Douglas-Peucker算法
    4.2 BOPW算法
    4.3 T-CE算法设计与实现
    4.4 地理空间实时流数据压缩技术实现
    4.5 实验与分析
        4.5.1 实验环境说明
        4.5.2 压缩率与运行时间的实验
        4.5.3 轨迹点数量与运行时间的实验
        4.5.4 轨迹压缩误差实验
    4.6 本章小结
第五章 地理空间实时流数据查询关键技术研究
    5.1 四叉树索引更新的实现
    5.2 基于四叉树索引的概念分区
    5.3 连续k近邻查询的设计与实现
        5.3.1 kNN计算模块
        5.3.2 处理单个对象更新
        5.3.3 处理多个对象更新
    5.4 连续范围查询的设计与实现
        5.4.1 连续范围查询研究
        5.4.2 处理对象更新
    5.5 地理空间实时流数据查询技术实现
    5.6 实验与分析
        5.6.1 连续k近邻查询实验
        5.6.2 连续范围查询实验
    5.7 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 研究展望
参考文献
致谢
作者简介



本文编号：3860254