一种分布式环境下的时空数据存储与多维混合索引方法

发布时间：2024-05-19 02:41

　　随着空间信息服务逐渐向时空大数据服务转变,时空数据质量及时效性得到保障,时空大数据的高效查询与挖掘分析为复杂场景提供决策响应支持。当前时空数据管理方法结合大数据框架初步解决了数据规模问题,但整体研究尚未充分考虑扩展数据库存储模式、索引方式单一且通用性不强。本研究结合分布式存储技术与多维时空混合索引方法,旨在建立高效可扩的时空数据高效存储与时空索引优化方法,在此基础上构建高效存取的综合方案,支撑时空数据相关应用。研究具体如下:(1)在分布式计算相关技术架构和数据存储特性基础上,分析时空数据特点及其在分布式环境下实现高效存储与并行处理技术的关键问题。构建基于HBase的分布式时空数据存储组织模型,降低时空数据结构与索引之间的耦合,结合数据分布特征与分层分块的逻辑组织,设计一种多表、多索引混合管理的数据存储模式,为时空数据的高效查询提供高可用的数据存储结构基础。(2)基于大数据技术架构特点,结合时空数据整体的时空聚集性、全时态等特点,分析了时空索引基于多维空间索引设计的可行性。本文基于S2-Geometry算法在地理空间的编码与运算能力,构建通用化层次格网管理时空对象,引入CompactHi...

【文章页数】：96 页

【学位级别】：硕士

【部分图文】：

图２．２?Ｓｐａｒｋ任务运行流程图（怀特，２０１７）??当Ｓｐａｒｋ运行一个计算任务，整体任务核心的运行层次如图２．２所示

?／??图２．２?Ｓｐａｒｋ任务运行流程图（怀特，２０１７）??当Ｓｐａｒｋ运行一个计算任务，整体任务核心的运行层次如图２．２所示。其中，??Ｊｏｂ代表运行计算的整体任务，Ｓｔａｇｅ作为Ｊｏｂ的基本调度单位，Ｔａｓｋ则是细分后??的多个子任务。??１．

图２．５协处理器模式中指令运行机制（Ｇｅｏｒｇｅ?Ｌ，２０１３）??列族数据库由于底层架构的分离设计，难以直接对表数据进行初步计算、统计??

周期的变化，每个生命周期状态将与钩子函数进行链接，例如ｐｒｅＰｕｔ、ｐｒｅＳｃａｎ等??数据库存取存取操作被框架隐式调用，客户端指令操作在协处理器模式中运行机??制如图２．５所示。??客户端?数据分区??Ｓｃａｎ?－｜?协处理器?１??？?ＰｒｅＳｃａｎＯｐｅｎ?????Ｉ???....

图２．６分布式时空数据存储表结构设计??按照如图２．６所示，时空数据的存储目录被划分为元数据表、多属性索引表、??

时空线、面索引??图２．６分布式时空数据存储表结构设计??按照如图２．６所示，时空数据的存储目录被划分为元数据表、多属性索引表、??空间索引表和时空索引表：元数据表存储了整个时空数据表目录的分布结构，记录??了查询索引对应的表名和部分用户自定义参数；属性索引表针对多维属性建立合?....

图２．７时空数据整体存储架构??通过对时空数据存储结构的设计，ＨＢａｓｅ分别为每种索引表进行分布式存储

表示为线性关系，而检索记录行键或与时间呈对数关系，这使得系统不会因为读写??操作性能而影响系统扩展能力。??查询引擎整体架构如图２．８所示，在ＨＢａｓｅ的协处理器机制之上，由客户端??和服务端两部分构成。客户端方面，通过池化客户端管理对象，将数据库操作指令??批量传入服务端，解决....

本文编号：3977499