一站式大数据智能云研发平台的设计与实现

发布时间：2021-06-27 07:47

　　随着企业业务线的不断扩张,各个事业部以及产品线之间的数据共享变为问题,导致企业的数据过于分散和冗余,各个部门之间的数据互联与合作变得尤为困难,同时由于业务的扩大,各个事业部产品的用户数据变得非常庞大,使得其对各个产品原本孤立存储的数据资源进行整合汇总并且通过数据分析给用户提供更优质的产品服务与体验愿望逐渐提高,同时也为了解决企业各个事业部重复研发造成资源浪费、资源利用率低下等问题,公司大数据部门研发了集数据导入、数据管理、数据开发、任务调度等于一体的一站式大数据智能云研发平台。本文介绍了数据开发平台的发展现状、一站式数据开发平台对于企业的重要意义、平台开发中使用的相关技术、平台的整体架构设计以及各个子模块系统的实现细节。本平台在数据集成模块底层采用开源数据同步框架DataX,实现异构数据源的数据同步,使得数据同步任务变得简单可控。数据开发模块使用Airflow调度框架,来实现对不同数据开发任务的任务调度,数据查询模块以及数据开发模块的编辑器功能是基于Monaco Editor开源库,用于实现SQL、Python、Hive脚本任务编写的功能。同时数据开发模块基于Jointjs实现以DAG... 

【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】：116 页

【学位级别】：硕士

【部分图文】：

图２－１?ＤａｔａＸ架构??Ｆｉｇｕｒｅ?２－１?ＤａｔａＸ?Ａｒｃｈｉｔｅｃｔｕｒｅ??

图２－２?Ｓｐａｒｋ架构??Ｆｉｇｕｒｅ?２－２?Ｓｐａｒｋ?Ａｒｃｈｉｔｅｃｔｕｒｅ??

图３－１功能划分图??Ｆｉｇｕｒｅ?３－１?Ｆｕｎｃｔｉｏｎａｌ?Ｄｉｖｉｓｉｏｎ?Ｄｉａｇｒａｍ??

【参考文献】：
期刊论文
[1]计算机数据库软件设计原则与实践[J]. 李晶.  计算机产品与流通. 2019(03)
[2]基于模型的敏捷软件架构设计方法[J]. 蒋丹,刘永吉.  电子技术与软件工程. 2019(04)
[3]大数据分析对企业决策的影响[J]. 姚望.  中国商论. 2019(02)
[4]基于大数据和云计算平台应用[J]. 胡雯.  中国新通信. 2019(02)
[5]大数据对现代企业管理决策的影响分析[J]. 霍永佳.  经济师. 2018(10)
[6]基于Datax的数据同步方案研究[J]. 陈宇收.  电脑编程技巧与维护. 2018(09)
[7]面向企业级web应用的前后端分离开发模式及实践[J]. 杜艳美,黄晓芳.  西南科技大学学报. 2018(02)
[8]基于Vue.js构建单页面GIS应用的方法研究[J]. 邓雯婷.  科技创新与应用. 2018(14)
[9]网站前端模块化开发策略研究[J]. 肖慧明.  数字技术与应用. 2018(03)
[10]基于JSON的离线数据同步策略及应用[J]. 穆鑫鑫,蒋同海,程力,马玉鹏.  计算机系统应用. 2017(12)

硕士论文
[1]基于XML的法院数据同步系统的设计与实现[D]. 常春.内蒙古大学 2018
[2]基于问题框架方法的软件非功能性需求分析的研究[D]. 吴淑慧.安徽大学 2018
[3]基于Hadoop和Django的大数据可视化分析Web系统[D]. 吴义.东华大学 2016



本文编号：3252438