基于Spark的遥感大数据高效索引系统设计与实现研究

发布时间：2022-08-06 20:54

　　随着现代遥感技术的发展,产生了大量的多源异构遥感数据。因此,遥感大数据的存储和挖掘成为遥感应用程序的重点,这导致越来越多的遥感数据处理系统被迁移到大数据和云计算环境,例如Google的GEE和ARCGIS ONLINE。基于强大计算能力和出色可扩展性能的大数据系统,我们可以深入研究遥感数据,充分发挥资源价值,并实现对地面环境灾难的实时预测和监视。遥感大数据的存储主要用于原始数据的存储,元数据的存储和索引系统。系统将元数据存储在PostgreSQL中,将原始数据存储在HDFS中,然后在原始数据存储上建立索引系统以加快数据查询。但是,由于查询操作中涉及的数据不同,因此当查询数据量不同时,单个索引系统通常具有不同的查询效率。在大多数遥感系统中,索引系统的设计和实现并未考虑系统本身的机制或组件的使用,这进一步影响了查询和资源使用的效率。本文提出了一种新型的存储系统MIGIS。MIGIS通过在数据查询中使用HDFS的多副本机制集成了多种索引算法,包括四叉树,GeoHash和十字链表。并优化了各种索引数据结构和查询算法,以提高其查询速度。并在不同的查询数据量下选择了相应的查询算法,有效克服了不同查... 

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 引言
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 遥感信息系统
        1.2.2 遥感数据索引
    1.3 研究内容及主要贡献
    1.4 论文的组织结构
第2章 背景知识介绍
    2.1 大数据组件
        2.1.1 大数据存储
        2.1.2 大数据计算
        2.1.3 大数据资源管理及协调
    2.2 遥感信息系统
        2.2.1 遥感存储系统
        2.2.2 遥感处理系统
        2.2.3 遥感信息系统分析
    2.3 本章小结
第3章 MIGIS多索引系统设计
    3.1 MIGIS设计目标和原则
        3.1.1 多索引系统优势
        3.1.2 索引算法选择
    3.2 MIGIS索引算法优化
        3.2.1 四叉树优化算法
        3.2.2 GeoHash编码算法
        3.2.3 十字链优化算法
    3.3 MIGIS系统集成
        3.3.1 MIGIS存储系统
        3.3.2 MIGIS处理系统
    3.4 本章小结
第4章 MIGIS系统实现与性能评价
    4.1 系统实现与处理流程
        4.1.1 原型系统实现
        4.1.2 处理流程
    4.2 实验设计和结果分析
        4.2.1 实验数据
        4.2.2 系统完整性
        4.2.3 遥感信息系统性能分析
        4.2.4 多索引系统性能分析
    4.3 本章小结
第5章 结束语
    5.1 本文工作总结
    5.2 下一步研究方向
参考文献
致谢
作者简介及攻读学位期间发表的学术论文与研究成果


【参考文献】：
期刊论文
[1]基于GIS的水文生态空间数据库及管理系统研发[J]. 徐斌,张艳.  水生态学杂志. 2018(05)
[2]遥感大数据研究现状与发展趋势[J]. 朱建章,石强,陈凤娥,史晓丹,董泽民,秦前清.  中国图象图形学报. 2016(11)



本文编号：3670349