HBase层次化辅助索引系统的设计与实现

发布时间：2021-07-28 22:36

　　大数据时代下,传统关系型数据库遭遇了数据爆发式增长带来的巨大挑战,导致一些需要大规模存储和高效检索的业务需求很难处理和实现。由于拥有高可用、可扩展、分区容错等特性,Hadoop系列项目逐渐成为大规模数据计算和管理的有效方案。作为基于Hadoop分布式文件系统HDFS的分布式非关系型数据库,HBase有着许多关系型数据库不具备的适合海量数据存储和管理的优势。但随着研究和实践的深入,人们发现HBase进行非主键数据检索时,需要对整个数据表进行扫描,耗时较长并且代价很高,这限制了HBase在很多方面的应用。借鉴传统数据库中索引的思想,科研人员和工程师对HBase非主键数据索引进行了大量的研究,本文在总结并分析了这些研究面临的难点和关键问题的基础上,设计并实现了一种基于日志结构合并树LSM-Tree和计数布鲁姆过滤器CBF的HBase层次化辅助索引系统LB-Indexer。主要工作内容如下:（1）按照LSM-Tree层次化模型的思想,将整个辅助索引系统分为内存缓存和持久化存储两部分。内存缓存使用空间和时间复杂度低的跳跃表作为索引存储的底层数据结构,保证数据的写入和检索效率;利用HDFS分布式文... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：85 页

【学位级别】：硕士

【部分图文】：

批量构建索引数据分布情况

致性哈希实现索引集群可扩展方法的有效性 增加节点后，索引数据的分布情况如图5.7 所示 图5.7 增加 IndexWorker 节点后索引数据分布情况本次实验还对IndexBalance()执行过程中的各节点CPU和内存使用情况与增加之前做了对比观察，具体变化情况如图 5.8 和图 5.9 所示 图5.8 增加 IndexWorker 节点前后 CPU 使用情况Node2,19.32%,Node3,21.43%Node4,20.58%Node5,18.61%Node6,20


本文编号：3308779