分布式图数据库存储引擎的事务管理的设计与实现

发布时间：2021-11-03 21:35

　　随着互联网在各行业的深入应用,涌现了许多分析事物关联关系的新需求,由于存在大量连接操作,传统关系型数据库处理这些需求的延迟难以容忍。为高效处理海量复杂数据之间的关联操作,图数据库应运而生。由于单机能力有限,海量数据必然要求图数据库分布式化。分布式图数据库有许多应用场景,如离线分析、在线查询等。在线查询要求图数据库增量更新,分布式图数据库必须具有事务能力,这也是当前分布式系统一个热点问题。传统上,一般采用两阶段提交（2PC）实现分布式事务。其它的分布式事务解决方案,如三阶段提交等,本质上都是对2PC的优化。2PC协议假设节点可用,但当前分布式系统大多采用普通商用PC机,这个假设并不成立。如何在节点不可用的场景下,高可用的实现分布式事务是本文需要考虑的问题,本文的分布式事务方案主要参考Google提出的Percolator事务模型。本文尝试设计并实现分布式图数据库中的分布式事务功能,主要工作包括:（1）多版本并发控制:并发控制方案采用多版本并发控制（MVCC）,实现了Read Snapshot的隔离级别,并优化MVCC存储模型,减少序列化次数。通过MVCC能够快速获得系统的数据快照。（2）... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

LevelDB架构图

一致性哈希环(a)

电子科技大学硕士学位论文8图2-3一致性哈希环(b)（2）节点的新增和删除节点的新增和删除都涉及到数据的迁移。以节点的增加为例，新上线的节点会先计算节点的哈希值，映射到哈希环中，此时会将原来某个节点的存储范围一分为二，此时一部分数据需要从旧节点迁移到新的节点上。（3）负载均衡如果只是按照节点的ip地址和port端口号，计算节点的存储范围，会使得存储粒度过大，导致节点之间的存储负载不均衡。为了尽量满足节点之间负载均衡，映入了虚拟节点的概念。每个节点会包含多个虚拟节点，此时存储粒度会被分割地更小，按照一定的虚拟节点分配策略，则可实现节点之间的负载均衡。2.3分布式理论相关介绍2.3.1CAP理论CAP理论是由计算机科学家埃里克·布鲁尔于2000年提出的，后被视为分布式领域公认的一个定理。C：一致性（Consistency）指的是对于给定的客户端，保证读操作能够读取到最新写入的数据。A：可用性（Availability）指的是在任何情况下，系统需要能在一定时间内响应请求，即使系统出现故障，也不会影响系统的正常运行。P：分区容忍性（PartitionTolerance）指的是系统因为某些故障出现网络分区后，系统能否继续正常运行。

【参考文献】：
硕士论文
[1]基于MongoDB的事务机制研究与实现[D]. 宣超.电子科技大学 2018
[2]基于内存的分布式行式数据引擎的设计与实现[D]. 张博.电子科技大学 2017
[3]基于MVCC的NoSQL事务机制的研究和实现[D]. 李任.上海交通大学 2016
[4]分布式数据库两阶段提交协议的研究与改进[D]. 陈俊伟.重庆大学 2007



本文编号：3474379