“异地多活”分布式存储系统设计和实现

发布时间：2021-05-05 18:06

　　随着互联网进入了大数据和云计算时代,分布式存储技术近年来受到了工业界和学术界的广泛关注;为了解决服务器压力过大、异地快速容灾和用户就近访问等问题,基于异地多活、分布式CAP理论,分析了分布式存储的特性、应用场景和技术挑战,进而利用开源的Redis NoSql数据库,RabbitMQ消息队列等技术,搭建了一个满足最终一致性,可用性和分区容忍性的"异地多活"分布式存储系统;通过对系统的压力测试结果表明,基本可以满足工业级应用的吞吐量和一致性的要求。 

【文章来源】：计算机测量与控制. 2020,28(04)

【文章页数】：6 页

【文章目录】：
0 引言
1 异地多活的概念
2 分布式系统的CAP理论
3 异地多活分布式存储系统的挑战
4 异地多活分布式存储系统的设计
    4.1 系统框架
    4.2 实现方案
        4.2.1 引入中间代理层redisProxy节点
        4.2.2 写冲突问题的解决机制
        4.2.3 引入第三方消息队列，增强同步消息传递的可靠性
        4.2.4 平滑的升级扩容机制
    4.3 系统节点
        4.3.1 业务节点（redis client)
        4.3.2 redisProxy
        4.3.3 RabbitMQ
        4.3.4 redis
    4.4 交互流程
        4.4.1 读数据流程
        4.4.2 写数据流程
        4.4.3 同步远端数据流
    4.5 容灾设计
        4.5.1 redisProxy服务器宕机
        4.5.2 RabbitMQ服务器宕机
        4.5.3 Redis服务器宕机
        4.5.4 集群机房网络不可用
    4.6 升级扩容
    4.7 一致性校验和补偿
5 模拟性能测试
6 结束语


【参考文献】：
期刊论文
[1]面向海上战术云的信息资源服务架构设计[J]. 唐素纯,李宁,于钺,韦广立.  舰船电子工程. 2019(02)
[2]关系型数据库与NoSQL数据库的性能对比[J]. 杜丽娟.  智能计算机与应用. 2017(03)
[3]Redis集群性能测试分析[J]. 柳皓亮,王丽,周阳辰.  微型机与应用. 2016(10)
[4]异地双活数据中心服务区域划分优化[J]. 丁建立,王斌强,张超.  计算机应用与软件. 2016(02)
[5]基于日志的泛在个人数据同步方法研究[J]. 何远标,乐小虬,袁国华,许丽媛,管仲,周强.  现代图书情报技术. 2013(10)
[6]分布系统设计的CAP理论[J]. 陈明.  计算机教育. 2013(15)
[7]基于AMQP的异步通信实现及其在OpenStack项目中的应用[J]. 李知杰.  软件导刊. 2013(07)
[8]基于消息中间件的数据交换平台传输框架设计[J]. 梁彦杰,廉东本.  计算机系统应用. 2012(04)
[9]消息中间件的设计与实现[J]. 陈明,潘家铭,阎保平.  微电子学与计算机. 2005(04)

硕士论文
[1]“饿了么”早餐配置系统的设计与实现[D]. 许艺蓝.北京交通大学 2018
[2]高可用可扩展集群化Redis设计与实现[D]. 闫明.西安电子科技大学 2014



本文编号：3170341