HBase中面向多源异构时序数据的高效能存储策略研究

发布时间：2021-09-25 06:06

　　随着物联网、5G和人工智能等技术的发展,在类似于网络安全态势感知、智能制造、智慧城市这样的综合性信息应用系统中,对不同来源的异构时序性日志数据的需求呈现爆炸式增长。传统数据库系统无法应对这些海量异构数据的统一存储要求,HBase作为一种分布式列族数据库,因其具有良好的可扩展性,可以解决该类应用场景中的海量数据存储问题。目前HBase所采用的分区存储机制以及相关负载均衡策略,能让各RegionServer上Region数目大致相同,但各Region上数据访问请求不均等,容易引发数据负载倾斜问题,从而极大地影响其读写性能,无法有效的应用到上述应用场景中。本文以高效能的海量多源异构时序数据存储为应用场景,对HBase中负载倾斜问题进行分析研究。针对数据访问请求负载不均衡问题,本文设计了一种基于用户访问行为预测的分布式数据存储策略。该策略在HBase原有分区存储基础上,通过对用户访问行为的建模,可实现对数据冷热性的预测,并结合数据相关时空特征的Rowkey装配方案,完成对数据的冷热分层分区存储,从而将系统数据访问请求负载均衡化。针对热点数据索引负载不均衡问题,本文改进现有二级索引构建策略,通过... 

【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

HBaseRegion分裂示意图

HBase系统架构图

HBase数据存储格式HBase通过表来存储数据，表是由行和列组成，相比于其他数据库，HBase


本文编号：3409247