云环境下海量GIS时空数据存储方法的研究与实现

发布时间：2020-06-17 11:55

【摘要】：随着移动互联网、传感器和大数据技术的发展,与地理信息有关的时空数据量级爆炸性增长。越来越多的信息数据和应用,都与地理空间和时间有关,海量GIS时空数据的高效存储和管理变得愈加重要。时空数据本身具有空间属性和时间属性,传统的时空数据模型完全基于关系型数据库构建,服务性能、数据模式、索引性能受限。云环境下的NoSQL系统可以处理大规模数据,但是海量GIS时空数据本身结构复杂且具有一定关联性,NoSQL系统提供的索引并未针对时空数据进行优化。本文从时空数据建模、读写架构和时空索引三个方面,结合海量时空数据的特点,提出一种广泛适用于NoSQL系统的海量时空数据存储方案。针对海量GIS时空数据本身结构复杂且具有一定关联性等特点,在时空数据建模方面提出了一种适合云环境存储、保持时空数据结构和关联性的ST-OpenGIS时空数据模型,将时空数据抽象为空间维、时间维和属性维,表述了空间维、时间维和属性维信息以及时态关系、空间拓扑关系。针对传统GIS面临着关系型数据库读写效率低、扩展性差、数据模型不灵活、索引效率低的问题,在解决海量GIS时空数据存储方面提出了一种通用的面向海量GIS时空数据读写架构,包括客户端、NoSQL接口层和NoSQL数据层三部分。针对NoSQL数据库时空索引能力比较弱的问题,基于MapReduce框架提出了一种改进BZ树的全局分布式DBZ索引,通过空间Z曲线编码将时空数据降维,然后结合B+树索引建立高效的索引,将节点信息存储在NoSQL数据库中,设计了索引的离线处理、在线维护和数据查询策略,实现了高性能的时空索引。本文在以上基础上实现了原型系统,进行了功能验证和性能测试,测试结果表明该原型系统优于传统的关系型存储方案,能够达到时空数据高效存储和查询的目的。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;P208
【图文】：

索引过程,离线

西安电子科技大学硕士学位论文建离线索引后，Accumulo 数据库中产生的表如图 5.3，其中前 3 张表是 Ac库系统自身的系统表。ns 代表命名空间，gdel_record 是源数据表， gdelt_s存适配器信息，gdelt_dbz_inner 和 gdelt_dbz_leaf 分别用于保存 DBZ 索引点和叶子节点。

离线,索引,信息,索引过程

西安电子科技大学硕士学位论文线索引后，Accumulo 数据库中产生的表如图 5.3，其中前 3 张表是统自身的系统表。ns 代表命名空间，gdel_record 是源数据表， gd配器信息，gdelt_dbz_inner 和 gdelt_dbz_leaf 分别用于保存 DBZ 索叶子节点。图5.2 MapReduce 构建离线索引过程

【参考文献】