基于星环大数据平台的工作流管理系统的设计与实现

发布时间：2024-10-05 01:53

　　在做数据分析处理时,一个作业往往不能达到我们的业务目的,执行过程中通常会涉及多个作业任务,这些作业按照逻辑执行关系连接,存在着相互依赖关系。若当前系统每天都会因交易的进行,新增大量数据,而业务部门要求每天进行一次统计处理,那么需要以天为周期执行上述流程。在这种情况下,分析团队必须进行系统性的作业管理,为了简化作业调度工作,减轻工作量,同时实现分析任务工作流的自动化管理,星环公司在大数据平台的基础上发布了工作流管理工具,Transwarp Workflow。本文描述的Transwarp Workflow系统是一种用于实现工作流调度DAG设计与管理的图形化工具,它支持Shell、SQL以及自定义Java任务等任务类型。用户设定好任务执行的逻辑执行顺序之后,它可以自动运行工作流上的离线批处理任务。本项目后端的主要编程语言是Java,整体基于微服务的方式,通过Spring Boot框架进行了快速的搭建,通过Spring的面向切面编程和依赖注入实现模块间低耦合以及高可扩展性,使用SpringMVC框架设计后端服务,提供RESTful接口,前后端通过RESTful接口进行通信,采用MyBatis持久...

【文章页数】：83 页

【学位级别】：硕士

【部分图文】：

图２．１?ＭｙＢａｔｉｓ整体架构设计图??如图２．１所示，ＭｙＢａｔｉｓ从架构层面可以被分为三层，分别是基础支撑层、??数据处理层和ＡＰＩ接口层［荣艳冬，２０１５］

１??图２．１?ＭｙＢａｔｉｓ整体架构设计图??如图２．１所示，ＭｙＢａｔｉｓ从架构层面可以被分为三层，分别是基础支撑层、??数据处理层和ＡＰＩ接口层［荣艳冬，２０１５］。??（１）基础支撑层：基础支撑层负责对数据处理层提供最基础的功能支撑，将??加载配置文件、连接管理、事务管理....

图３．１?Ｗｏｒｋｆｌｏｗ调度系统用例图??３．２功能性需求分析??根据图３．１的系统用例图，具体分析Ｔｒａｎｓｗａｒｐ?Ｗｏｒｋｆｌｏｗ系统的功能需求，??

图３．１?Ｗｏｒｋｆｌｏｗ调度系统用例图??３．２功能性需求分析??根据图３．１的系统用例图，具体分析Ｔｒａｎｓｗａｒｐ?Ｗｏｒｋｆｌｏｗ系统的功能需求，??比较重要的具体有以下几种，其余不进行详细描述：??（１）．全局配置功能??系统有一些可以进行修改的全局配置，需要提供配置功....

图３．２统计分析功能用例图??１６??Ｉ??

直观展示结果。??理功能??通知主要为已发布工作流执行成功或失败时进行通知，志显示以及实时状态页面，可添加邮件或短信业务，在全配置好发送协议和收件箱即可在任务结束时发送表格化执与收集信息。??执行节点需要可选，具体到子任务级别。在执行状态变工作流，在首页访问服务器时及时进行最新通....

图３．３任务调度功能用例图??任务调度功能的用例图如图３．３所示

?Ｉ??图３．３任务调度功能用例图??任务调度功能的用例图如图３．３所示。任务调度功能是工作流管理系统的核??心，需求分析得出任务调度主要有以下四种情况：（１）上线工作流后系统进行定时??调度，包括因依赖某工作流而触发的工作流。（２）设计完工作流后进行调试，一??些任务类型需要直....

本文编号：4007406