基于分布式的智慧社区存储技术研究与应用

发布时间：2023-05-12 18:05

　　随着移动互联网时代的蓬勃发展,行业应用系统的规模迅速扩大,使其产生的数据量呈爆发式增长,海量数据对数据库的存储容量造成了严峻的考验。因此,如何应对海量数据存储、用户的高并发访问和系统的高可用性,成为了目前企业所困扰的问题。传统数据库因其性能瓶颈以及扩展困难问题,已经逐渐无法满足海量数据的存储及其性能要求。而分布式数据库的出现有效地解决了这些问题,分布式数据库结合计算机网络将多台数据库服务器逻辑上连接在一起,构建出一个分布式集群,从而分散了单台数据库的压力。针对智慧社区项目遇到的海量数据存储以及高并发问题,本文采用Mycat数据库中间件作为构建分布式数据库的关键技术。结合智慧社区项目的实际需求,对项目中原有的集中式存储方案进行改进,提出了一个基于Mycat的分布式存储方案。本文的主要工作内容如下:(1)以Mycat中间件为关键技术来实现数据库的读写分离、数据切分和故障切换,从而提升系统的读写性能、扩展性、高可用性。(2)针对数据整合过程中的数据排序进行优化,对其中使用的堆排序算法进行改进。通过减少排序过程中的比较次数,从而有效地减少算法的时间开销。最终使Mycat在数据排序过程中的运行时...

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与研究意义
    1.2 国内外研究现况
    1.3 论文研究内容
    1.4 论文组织结构
2 相关技术研究
    2.1 分布式数据库
        2.1.1 分布式数据库的概念
        2.1.2 分布式数据库的特点
    2.2 Mycat数据库中间件
        2.2.1 Mycat的概念
        2.2.2 Mycat的关键技术
        2.2.3 Mycat与其他中间件的区别与优势
    2.3 HAProxy+Keepalived
        2.3.1 HAProxy技术
        2.3.2 Keepalived技术
    2.4 本章小结
3 分布式存储方案需求分析
    3.1 智慧社区项目背景
    3.2 存储方案需求分析
    3.3 视频图像存储方案
    3.4 本章小结
4 数据切分方案设计与实现
    4.1 数据切分总体设计
    4.2 垂直切分方案
    4.3 水平切分方案
    4.4 跨库查询方案
    4.5 数据切分方案实现
    4.6 数据整合优化
        4.6.1 数据路由
        4.6.2 数据排序优化
        4.6.3 数据排序优化实现
    4.7 本章小结
5 基于Mycat的分布式存储方案设计与实现
    5.1 存储方案总体设计
    5.2 读写分离方案
        5.2.1 读写分离方案设计
        5.2.2 读写分离方案实现
    5.3 基于HAProxy+Keepalived的高可用方案
        5.3.1 高可用方案设计
        5.3.2 高可用方案实现
    5.4 本章小结
6 验证与分析
    6.1 环境搭建
    6.2 数据排序测试
    6.3 高可用测试
    6.4 性能测试
    6.5 本章小结
7 总结与展望
参考文献
致谢
附录1 攻读硕士学位期间参与的项目和发表论文



本文编号：3814366