备份系统数据高并发处理与系统高可用性的研究与实现

发布时间：2021-05-16 01:34

　　随着我国北斗卫星建设事业的发展,国家组织相关部门研制了北斗地基增强系统,并在全国各地陆续建设国家框架网基准站与卫星直接通信,接收原始数据。作为北斗地基增强系统的分系统某数据管理系统的增强备份中心,备份系统与数据管理系统保持同步,均会接收基准站的原始数据,然后进行标准化处理。随着基准站数量不断增多,实时流数据规模也越来越大,原有的单机多线程的处理方案无法满足对原始流数据的实时处理需求,因此需要在备份系统中研究实现对基准站实时流数据的高并发处理方案。另外,当数据管理系统不可用时,在对用户透明的情况下,备份系统需要替代数据管理系统对外提供服务,最大限度地减轻数据管理系统单点故障带来的影响,因此需要从对外提供服务的角度,研究实现整体系统的高可用方案。本文借助基于分布式的流数据处理、计算框架来实现数据高并发处理方案,通过使用Flume框架接收来自框架网基准站的原始数据,对原始数据进行数据包解析、时间转换等预处理。然后通过基于ZooKeeper协调的分布式消息系统Kafka对Flume接收到的数据进行缓冲来保证整个数据传输与处理过程平稳衔接。使用Flink流处理计算框架消费来自Kafka的数据,根... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：87 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外发展现状
    1.3 论文工作内容
    1.4 论文组织结构
第二章 相关技术研究
    2.1 流处理计算框架Flink
        2.1.1 Flink架构与数据流模型
        2.1.2 与流处理计算框架Spark Streaming及Sotrm的对比
    2.2 分布式日志收集系统Flume
    2.3 分布式消息系统Kafka
    2.4 Rsync算法
    2.5 文件系统监控机制inotify
    2.6 本章小结
第三章 系统需求分析
    3.1 备份系统功能
    3.2 备份系统数据高并发处理需求
    3.3 整体系统高可用需求
    3.4 本章小结
第四章 备份系统数据高并发处理方案研究与实现
    4.1 备份系统数据高并发处理方案架构
    4.2 备份系统数据高并发处理方案实现
        4.2.1 数据收集部分
        4.2.2 数据处理部分
    4.3 测试与验证
        4.3.1 实验环境搭建
        4.3.2 实验结果分析
    4.4 本章小结
第五章 整体系统高可用方案研究与实现
    5.1 远程文件同步方案
        5.1.1 远程文件高效同步算法的研究
        5.1.2 文件系统监控机制的研究
        5.1.3 远程文件双向同步方案
    5.2 服务系统切换方案
    5.3 测试与验证
        5.3.1 远程文件同步方案
        5.3.2 服务系统切换方案
    5.4 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 工作展望
参考文献
致谢
作者简介


【参考文献】：
期刊论文
[1]阿里巴巴的大数据之路JStorm与Blink的发展史[J]. 林琳.  计算机与网络. 2019(02)
[2]北斗地基增强系统标准体系的构建[J]. 麦绿波,徐晓飞,梁昫,陈晓华.  中国标准化. 2016(14)
[3]北斗卫星导航系统发展与应用[J]. 吴海玲,高丽峰,汪陶胜,李作虎.  导航定位学报. 2015(02)
[4]北斗观测数据质量检测方法及其软件实现[J]. 苏行,何战科,孔垚,孙保琪,杨旭海.  时间频率学报. 2014(04)
[5]新一代国际标准RTCM V3.2及其应用[J]. 陈振,王权,秘金钟,谷守周,方书山,向常淦.  导航定位学报. 2014(04)

硕士论文
[1]Ntrip差分数据的标准化和可靠传输的研究与实现[D]. 李玲红.西安电子科技大学 2018



本文编号：3188710