基于Flink的实时计算平台的设计与实现

发布时间：2022-07-29 18:16

　　随着分布式技术的发展,以及各种分布式计算框架在多个领域得到广泛的使用,数据处理模式开始从离线数据处理转向实时数据处理,从而根据数据变化快速做出决策。因此,实时计算系统逐渐成为企业实时数据处理必不可少的工具,对企业未来的发展也有着不可替代的作用。传统实时数据处理模式,是通过使用实时计算框架内部提供的程序调用接口,针对某一特定业务场景编写程序,并通过主动上传程序包的方式将该程序提交到已有的集群资源中。这种数据处理模式有很多弊端,首先编写实时计算程序对开发人员的技能要求比较高,开发人员需要具备一定的分布式计算相关的开发经验,显然在很多传统企业中很少有相关技能人员储备。其次,程序的部署和作业监控很不便捷,开发人员需要主动上传并启动任务,同时通过集群命令跟踪程序的执行情况。因此,本文提出使用Flink实时计算框架构建实时计算平台,从而简化复杂的实时计算任务的开发及繁琐的任务部署、监控。本文主要围绕以下四个方面来展开:第一,扩展Flink实时计算框架功能,并将其作为实时数据处理的底层引擎。Flink提供了 SQL语法可以对实时数据进行DML（data manipulation language）操... 

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景及意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 研究现状
        1.2.1 Storm
        1.2.2 Spark Streaming
    1.3 本文主要工作
    1.4 本文目录结构
第2章 相关理论与技术研究
    2.1 维表关联
    2.2 Flink实时计算框架
        2.2.1 概述
        2.2.2 集群架构
        2.2.3 四层执行图
        2.2.4 容错机制
    2.3 Kafka消息系统
        2.3.1 Kafka集群架构
        2.3.2 Topic和日志
    2.4 Prometheus监控告警框架
        2.4.1 Prometheus组件及架构
    2.5 本章小结
第3章 实时计算平台总体架构设计
    3.1 系统架构设计图
    3.2 系统模块功能介绍
        3.2.1 执行层
        3.2.2 调度层
        3.2.3 可视化层
    3.3 本章小结
第4章 实时计算平台详细设计
    4.1 执行层核心功能设计
        4.1.1 核心功能设计
        4.1.2 源表数据源配置
        4.1.3 维表数据源配置
        4.1.4 结果表数据源配置
    4.2 调度层功能设计
        4.2.1 节点心跳管理
        4.2.2 Leader选举
        4.2.3 Checkpoint管理
        4.2.4 任务调度流程
    4.3 可视化层功能设计
        4.3.1 数据源管理
        4.3.2 集群参数配置
        4.3.3 运行日志展示
        4.3.4 监控指标展示
    4.4 本章小结
第5章 实时计算平台系统实现
    5.1 实验环境与开发工具
        5.1.1 实验环境
        5.1.2 开发工具
        5.1.3 项目部署
    5.2 数据库存储设计
    5.3 系统主要功能实现
        5.3.1 数据源管理
        5.3.2 实时任务开发
        5.3.3 任务运维监控
    5.4 本章小结
第6章 总结与展望
    6.1 总结
    6.2 展望
致谢
参考文献



本文编号：3666939