分布式流处理系统中的关联容错机制研究

发布时间：2021-04-27 01:18

　　随着计算机网络技术的迅猛发展以及数据获取手段的不断丰富,越来越多的领域出现了对海量,高速产生的数据进行实时处理的需求,这些数据呈现出数据量大,时效性强,数据到达速度快的特点。然而面对如此庞大的数据量,传统的处理模式已经无法在有效时间内完成,分布式流处理技术应运而生。随着大规模分布式流处理系统的计算规模逐渐扩大,故障失效成为常态。系统中由于网络,电力设备等原因导致大量计算节点同时失效的情况称为关联失效,严重的关联失效会导致系统出现长时间宕机无法恢复,因此如何保障系统能够快速从关联失效中恢复正常,保障系统的可用性成为分布式流处理系统中的关键性问题。现有的流处理系统中的容错机制分为三种:主动热备技术,每一个计算节点同时运行一个备用节点以便于失效时立即替换,成本高昂;检查点技术,周期性提取检查点,失效时回滚检查点,带来较为明显的恢复时延;上游备份技术,上游储存所有数据,失效恢复时重发,同样带来明显恢复时延。上述容错机制只针对单一节点失效的情况,无法解决关联失效由于节点数量多和节点之间存在恢复等待,导致恢复时延显著增加的问题。因此要在极短时间内迅速恢复大量节点并完成所有节点状态同步,为分布式流处... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：55 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
    1.3 本文主要研究内容
    1.4 论文组织结构
2 分布式流处理系统关联容错机制
    2.1 预备知识
    2.2 流处理模型构建
    2.3 关联容错问题定义
    2.4 基于博弈论的关联容错机制
    2.5 关联容错算法优化
    2.6 小结
3 高性能容错分布式流处理系统Ares
    3.1 系统架构设计
    3.2 系统功能模块与处理流程
    3.3 系统实现
    3.4 小结
4 系统实验与分析
    4.1 系统配置
    4.2 实验方法
    4.3 实验结果与分析
    4.4 小结
5 总结与展望
致谢
参考文献
附录1 攻读学位期间发表的论文
附录2 攻读学位期间的国家发明专利
附录3 攻读学位期间参与的科研项目



本文编号：3162484