MySQL集群中面向DDL操作的主从同步优化方法研究

发布时间：2021-04-06 03:23

　　近年来,基于读写分离架构的分布式数据库设计,在国内外许多系统中的应用日渐广泛,主机和从机之间通过数据复制技术进行同步而存在的延迟问题,受到了业界的广泛关注,数据库主从同步成为了一个重要的研究方向。MySQL数据库作为市场占比第二的数据库,由于其开源的特性,被许多互联网企业所青睐,因此研究MySQL数据库集群的主从同步优化方法具有重要的意义和价值。针对MySQL集群在面对DDL操作时会出现的主从同步延迟加重的问题,对MySQL基于事务成组提交的并行复制技术进行了深入的研究,提出了能够让更多的DDL事务和DML事务在从机并行回放的优化方法。该优化方法首先改造DML事务在从机的回放机制,然后对单个事务的二进制日志的组织顺序做了调整,最后让从机可以提前开始回放DDL事务,从而增加从机事务回放的并行度;同时对主机上基于写集合的事务成组提交策略进行优化,在保证数据一致性的前提下,从机不等DDL事务回放完成,便提前回放DDL事务之后的DML事务,来提高从机事务回放的效率,最终以实现降低DDL操作带来的主从同步性能波动的目标。在对真实业务场景的模拟和实验中,通过对比优化方法实现前后MySQL数据库集群... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：64 页

【学位级别】：硕士

【部分图文】：

DDL事务在从机提前回放的流程图

trx3 和 trx4，trx3 在 DDL 事务之前提交，而 trx4 却在 DDL 事务之后提交。同理，让有冲突的 DML 事务在从机提前回放，无法保证 DML 事务和 DDL 事务之间提交的顺序和主机保持一致，就会导致数据不一致的问题发生。因此让 DML 事务在从机提前回放的关键在于，只能让与 DDL 事务不冲突的 DML 事务在从机提前回放，而不能让与 DDL 事务有冲突的 DML 事务在从机提前回放。

3. 事务管理。从机上Coordinator线程按日志事件解析relay log文件中的binlog，以事务为单位，将该事务所有的日志事件分发给同一个 Worker 线程处理。4. 日志重做。从机上的线程会根据日志事件来重做数据库操作，主要任务是识别日志事件的类型，然后读取日志事件中记录的相关信息，最后调用存储引擎对数据库进行相应的修改操作。

【参考文献】：
期刊论文
[1]大数据分析场景下分布式数据库技术的应用[J]. 齐磊.  移动通信. 2015(12)
[2]基于Oracle RAC的数据库架构分析与企业应用[J]. 闫黎.  计算机系统应用. 2013(11)
[3]基于写操作集的数据库同步复制模型[J]. 蔡亮,刘腾.  计算机工程. 2011(13)
[4]Oracle RAC 10g系统高可用性测试及分析[J]. 付社良,田斌.  武汉理工大学学报(信息与管理工程版). 2007(02)

硕士论文
[1]基于Redis Cluster的分布式内存数据库研究与应用[D]. 王绍东.华南理工大学 2016



本文编号：3120657