基于HBase的海量地形数据存储

发布时间：2019-11-02 15:15

【摘要】：随着遥感技术的发展,遥感数据的类型和量级发生了巨大变化,对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题,提出一种四叉树-Hilbert相结合的索引设计方法。首先,对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述;然后,在基于四叉树对全球数据进行组织的基础上,提出了四叉树和Hilbert编码相结合的设计思想;其次,设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法;最后,对设计的索引的物理存储结构进行了设计。实验结果表明,利用设计的索引进行海量地形数据入库,数据入库速度与单机情况相比,提高了63.79%~78.45%;在地形数据的范围查询中,设计的索引与传统的行序索引相比,查询时间降低了16.13%~39.68%。查询速度最低为14.71 MB/s,可以满足地形数据显示的要求。
【图文】：

se系统架构如图1所示［7］，，分为用户层、服务层和支撑层。其中:支撑层是系统运行的基础，分布式文件系统作为底层的数据存储系统保证数据的可靠性，分布式锁系统Zookeeper用来保证数据的同步服务和配置维护;主服务器是系统的核心部分，负责处理来自客户端的连接请求，维护与子表服务器的连接和子表的分配。元数据表类似于数据字典，用来维护子表的记录范围;子表服务器负责处理所有操作的读写操作，随着数据量的急剧增加，可以通过增加子表服务器的数量动态扩容，客户端对数据的操作通过直接和子表服务器交互实现。图1HBase系统体系架构通过查阅相关文献，现阶段使用HBase进行数据存储的研究如表1所示。其中:ＲDF(ＲesourceDescriptionFramework)为海量资源描述框架。表1基于HBase的存储研究现状存储数据类型解决的主要问题文献地图瓦片数据提出了一种地图瓦片数据缓存方案，解决了单机瓦片缓存效率不高的问题文献［8］海量图片数据提出了一种海量图片数据存储方案，解决了HBase无校验码和键值对字节数组未对齐问题，在城市监控系统中得到应用文献［9］无线传感信息提出了两层存储架构，可以满足大规模传感器的存储需要文献［10－11］海量影像数据提出了适用于海量影像数据分布式存储的索引结构P2H，可以进行影像数据的存储和快速查询文献［12］矢量空间数据设计了基于HBase的矢量空间数据存储模型和空间索引方法文献［13］ＲDF数据提出一种基于基于HBase的ＲDF数据存储模型，实现了基于该模型的8种查询算法并进行了可行性验证文献［14］海量空间数据提出一种HGrid数据模型，设计了基于四叉树和网格索引的双重索引结构文献［15］通过表1可以看出，HBase适于存储海量数据，尤其对于海量

⒑Ａ渴

本文编号：2554559