数据分析流程编排系统设计与实现

发布时间：2021-07-20 04:46

　　随着大数据概念的不断深入人心,越来越多的企业开始重视并积累大量的业务数据,基于数据决策的需求与市场正在快速成长。然而,因为数据分析人才的缺乏和海量数据分析对技术专业性的高要求,企业难以快速获得切实有效的数据分析能力,亟需能够降低数据分析实施难度、支持分析建模人员简易且迅捷编排数据分析流程的工具,实现为企业赋能。因此,本文从易用性和通用性角度出发,设计和实现配置式的数据分析流程编排系统,力求使用户不必关注数据分析运行的底层实施细节,可将精力集中在业务数据分析的设计上。为此,本文采用B/S架构,使用SSM形成系统开发框架,并使用React等技术支撑前端实现,基于Airflow编排引擎和MySQL数据库系统实现任务调度和数据存储,设计实现了本文系统。系统主要由6个核心模块构成。数据导入模块用于与业务数据库的连接;数据预处理模块提供经典的数据处理方法;程序编辑模块支持用户自主编写Python脚本或SQL语句实现的数据分析算法;模型调用模块用于对接本文作者所在项目组的算法集市平台,实现对算法模型的调用;服务发布模块运用Docker容器技术实现分析流程启停和隔离,并实时反馈运行情况;服务调度模块为... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：93 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 课题背景及意义
    1.2 国内外发展现状
    1.3 本文的组织结构
2 相关技术介绍
    2.1 SSM开发框架
    2.2 Airflow编排引擎
    2.3 数据库技术
    2.4 前端技术
        2.4.1 React
        2.4.2 D3.js
    2.5 容器技术
        2.5.1 Docker
        2.5.2 Kubernetes
3 系统需求分析
    3.1 系统总体架构
    3.2 系统用例分析
    3.3 系统数据流分析
    3.4 非功能需求
4 系统设计
    4.1 系统架构设计
    4.2 功能模块设计
        4.2.1 数据导入模块
        4.2.2 数据预处理模块
        4.2.3 程序编辑模块
        4.2.4 模型调用模块
        4.2.5 服务发布模块
        4.2.6 服务调度模块
        4.2.7 项目管理模块
    4.3 数据库设计
        4.3.1 数据库模型设计
        4.3.2 主要数据表设计
5 系统实现
    5.1 数据导入
    5.2 数据预处理
    5.3 程序编辑
    5.4 模型调用
    5.5 服务发布
    5.6 服务调度
    5.7 项目管理
6 系统测试
    6.1 测试指标
    6.2 功能测试
    6.3 性能测试
结论
参考文献
附录 A 系统界面
附录 B 前端核心代码
致谢


【参考文献】：
期刊论文
[1]基于Sugiyama的流程图自动生成算法[J]. 梁白鸥.  计算机应用. 2019(12)
[2]云计算中任务调度研究的调查[J]. 马小晋,饶国宾,许华虎.  计算机科学. 2019(03)
[3]开源云上的Kubernetes弹性调度[J]. 张可颖,彭丽苹,吕晓丹,吕尚青.  计算机技术与发展. 2019(02)
[4]微服务组合方法研究进展[J]. 辛园园,李俊晖,李阵.  无线通信技术. 2018(03)
[5]浅谈机器学习研究现状与发展趋势[J]. 陈勇涛,郭晓颖,陶慧杰.  中国新通信. 2018(08)
[6]一种基于微服务架构的业务系统设计与实现[J]. 洪华军,吴建波,冷文浩.  计算机与数字工程. 2018(01)
[7]可编程模糊测试技术[J]. 杨梅芳,霍玮,邹燕燕,尹嘉伟,刘宝旭,龚晓锐,贾晓启,邹维.  软件学报. 2018(05)
[8]一种基于Docker的数据中心云平台实现方法及系统[J]. 彭勇,谢剑,童遥,申光.  中兴通讯技术. 2017(02)
[9]An Open IoT Framework Based on Microservices Architecture[J]. Long Sun,Yan Li,Raheel Ahmed Memon.  中国通信. 2017(02)
[10]SSM框架在Web应用开发中的设计与实现[J]. 李洋.  计算机技术与发展. 2016(12)

硕士论文
[1]可视化页面编辑平台的设计与实现[D]. 李隆隆.南京大学 2018



本文编号：3292159