面向FLINK流处理框架的容错策略优化研究

发布时间：2023-09-16 08:47

　　随着大数据、物联网技术的发展,市场上涌现了大量实时性要求较高的应用。该类应用要求数据被实时地收集、处理和分析,进而能够以亚秒级的延迟实时交付数据的处理结果。流计算正是为实时计算而生的一种新型计算范式。流式应用通常持续不间断运行,难免运行过程中会遇到各种故障,尤其是在大规模的分布式环境下。因此,流计算中的容错恢复一直是该领域的研究热点。传统面向流式应用的容错策略主要包括:主动备份、被动备份、上游备份以及检查点的卷回恢复。每一种容错手段都各有利弊。Flink流处理框架基于栅栏模型实现了一种轻量级的异步检查点,然而在使用过程中仍表现出一些不足之处有待优化改进。其一,Flink仅支持固定间隔的检查点。检查点间隔作为影响容错开销与故障恢复时间的重要参数,如果能根据流数据的动态变化从而进行相应调整,将能大大地提升系统的运行效率。其二,Flink仅支持基于检查点的容错机制。在面向高可靠要求的流应用时,单一的检查点恢复机制难以满足应用快速恢复的需求。为了解决上述两方面问题,本文分别提出了两种优化改进策略。一是检查点间隔优化模型。本文基于开环Jackson排队网络提出应用处理的延迟模型与检查点的故障恢复...

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题来源
    1.2 课题背景及研究的目的和意义
    1.3 国内外研究现状
        1.3.1 传统流计算中的容错方法
        1.3.2 基于检查点机制的容错方法
        1.3.3 基于多种方法融合的容错方法
        1.3.4 现有研究的不足
    1.4 本文的主要研究内容
    1.5 论文组织结构
第2章 FLINK框架研究概述
    2.1 FLINK中核心概念
        2.1.1 FLINK的运行架构
        2.1.2 FLINK中的状态管理
    2.2 FLINK中的容错机制分析
        2.2.1 一致性级别
        2.2.2 基于栅栏的异步检查点机制
        2.2.3 两阶段提交协议
        2.2.4 故障恢复
    2.3 FLINK容错机制存在的问题
        2.3.1 检查点间隔选择问题
        2.3.2 恢复延迟过大的问题
        2.3.3 本文的工作
    2.4 本章小结
第3章 面向FLINK的检查点间隔优化模型
    3.1 系统模型描述
    3.2 排队论概述
        3.2.1 排队系统的组成与评价
        3.2.2 开环JACKSON排队网络
    3.3 基于开环JACKSON网络的延迟模型
    3.4 检查点故障恢复模型
    3.5 检查点间隔优化方法研究
    3.6 实验验证与分析
        3.6.1 实验环境
        3.6.2 检查点延迟模型验证
        3.6.3 检查点故障恢复模型验证
        3.6.4 优化检查点间隔方法验证
    3.7 本章小结
第4章 面向关键任务的部分主动备份
    4.1 关键路径与关键顶点挖掘方法分析
    4.2 加权有向无环图模型建立
    4.3 资源约束下的关键任务挖掘
        4.3.1 关键度排序
        4.3.2 关键路径挖掘
        4.3.3 资源约束下的关键任务选举
    4.4 主动备份及一致性保证
        4.4.1 主动备份详细过程
        4.4.2 主动备份下保证恰好一次
    4.5 实验验证与分析
        4.5.1 实验拓扑
        4.5.2 实验结果与分析
    4.6 本章小结
结论与展望
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3846692