基于计算与存储分离的Key-Value数据库的研究与实现

发布时间：2024-03-15 06:17

　　近年来,随着互联网的普及与大数据的蓬勃发展,各大云服务提供商和各大电商的业务不断扩张,数据量呈爆发式增长,海量数据的存储与管理给分布式数据库系统带来严峻的挑战。传统分布式数据库架构的一个显著特点是计算(查询解析、查询优化等)与存储(数据持久化、备份、故障恢复等)在物理上紧耦合,但是该模式下计算与存储业务存在资源竞争,性能相互制约,同时也使得集群难以实现快速弹性扩展,系统调度效率较低。本论文针对以上问题进行深入研究,将数据库这个“黑盒子”打开,研究如何在分布式数据库上实现计算与存储分离,即将查询解析、查询优化等计算逻辑与数据持久化、备份、故障恢复等存储业务在物理上解耦,实现上层计算层无状态,底层存储层池化。同时,由于近年来NoSQL数据库凭借其高可用、高可扩展的优良特性被广泛应用于海量数据管理,因此本论文采用NoSQL中的一个重要分支Key-Value数据模型进行数据库系统的实现。具体而言,本论文主要完成以下工作:(1)深入研究数据库计算与存储分离的意义与可行性,调研当前国内外计算与存储分离数据库系统的发展现状,在充分的调研工作基础上完成本论文系统整体架构设计与功能模块设计。(2)针对计...

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

图5-1增删改基本操作测试代码片段

图5-1增删改基本操作测试代码片段图5-2增删改基本操作结果单点故障恢复测试本小节将测试系统自愈能力，主要测试计算层主节点宕机之后，系统能否监测到异常并重新发起选举，完成新主节点的更替，继续提供服务。首先启动集群，CacheRaft进行一次选举，从日志文件可以看出，节点....

图5-4集群选举过程

图5-4集群选举过程负载均衡测试本小节为负载均衡测试。由于计算层没有数据持久化功能，因此仅测试存储层数据分布情况。本小节测试中，调用Put函数向系统输入测试数据100w条，单条记录大小为1KB，由于存储层采用三副本模式，因此系统存储总数据量大约为3GB。操作完成后....

图5-5OSD存储空间使用情况

图5-4集群选举过程负载均衡测试本小节为负载均衡测试。由于计算层没有数据持久化功能，因此仅测试存储层数据分布情况。本小节测试中，调用Put函数向系统输入测试数据100w条，单条记录大小为1KB，由于存储层采用三副本模式，因此系统存储总数据量大约为3GB。操作完成后....

本文编号：3928665