基于ETL的数据集成平台的设计与实现

发布时间：2021-03-11 10:16

　　近几十年来,随着科学技术与信息化的迅猛发展,人类在学习、工作、生活中积累的数据量十分庞大,对于数据的采集、存储和传播的需求量也日益剧增。但在获取数据时,由于这些数据在格式、内容、质量上存在着巨大差异,数据的流动与共享存在着巨大的困难,为了让更多的人可以更加方便地获取数据,减少他们在采集数据时花费的时间、经济、体力成本,实现数据共享就十分重要。本文提出的基于ETL的数据集成平台就是用设计ETL流程的方式将数据根据用户需求进行抽取、转换和加载以达到数据共享的目的。传统的数据集成系统通常都存在不易用、操作门槛高、没有工作流特性、不能进行灵活地调度、部署、监控和其他管理功能的缺点。本文提出的数据集成系统旨在解决传统数据集成系统存在的主要问题。首先,针对易用性及操作门槛高的问题,本系统采用TWaver框架用流程图式的图形化工具,用拖、拉、拽的方法快速、灵活地设计ETL过程。再者,针对工作流问题,本系统通过设计任务与作业来实现ETL过程的工作流特性,任务包括一个完整的ETL过程,而作业由一个或多个任务组成,通过执行作业来控制任务执行的先后顺序。然后,针对ETL过程的调度问题,本文着重介绍了使用Qu... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：91 页

【学位级别】：硕士

【部分图文】：

任务设计测试图

第五章 基于 ETL 的数据集成平台的测试57图5.2任务列表测试图5.2.2 作业管理模块测试作业管理模块主要是用户根据自己需求设计、调度作业并对作业进行管理，任务管理模块测试用例如表 5.4 所示。表5.4 作业管理模块测试用例用例编号 002用例名称 作业管理模块测试用例用例描述 用户可以通过作业管理来进行作业的增加、执行、删除和修改。用例入口 用户登录客户端用例场景 测试步骤 预期结果是否与实际结果一致作业管理界面 用户点击作业管理页面显示该用户下所有作业信息是添加作业用户点击“+新增”，输入作业信息，设计作业内容，点击“保存”显示“添加作业成功”是修改作业用户选择某个作业，点击“编辑”，修改作业信息，点击“保存”显示“编辑作业成功”是运行作业用户选择某个作业，点击“下发”，选择执行器，点击“提交”显示“下发作业成功”是删除作业 用户选择某个作业，点击“删除”显示“作业删除成功”是

西安电子科技大学硕士学位论文按照表 5.4 的测试用例对作业管理模块进行测试，作业管理模块测试结果与预期结果基本一致，说明该模块的功能正常。作业管理模块的作业列表测试图如图 5.3 所示，作业设计测试图如图 5.4 所示，高级调度作业测试图如图 5.5 所示。

【参考文献】：
期刊论文
[1]PBS:一种面向集群环境的ETL调度算法[J]. 韩文彪,李晖,陈梅,戴震宇.  计算机与数字工程. 2017(05)
[2]移动客户端APP系统时间用户体验研究[J]. 刘森,何菁钦,李诞新.  现代商业. 2016(28)
[3]黑盒测试用例设计方法研究[J]. 刘春玲,雷海红.  现代电子技术. 2012(20)
[4]基于ETL技术的电网运行全景建模[J]. 梁寿愚,周华锋,李矛.  南方电网技术. 2012(04)
[5]数据ETL研究综述[J]. 徐俊刚,裴莹.  计算机科学. 2011(04)
[6]Quartz调度器与Web程序整合的研究和应用[J]. 胡利强,周冬初,王伟.  计算机与现代化. 2010(08)
[7]我国科学数据共享管理的发展与现状[J]. 郭明航,李军超,田均良.  西安建筑科技大学学报(社会科学版). 2009(04)
[8]ETL系统的设计和实现技术研究[J]. 何晨钢.  计算机应用与软件. 2009(04)
[9]常用作业调度算法的分析与评价[J]. 江志华,齐文静.  乐山师范学院学报. 2008(12)
[10]性能测试工具LoadRunner介绍[J]. 郝炜.  电脑知识与技术. 2008(17)

硕士论文
[1]基于ETL的企业数据交换平台的设计与实现[D]. 张春亮.哈尔滨工业大学 2016
[2]数据仓库之ETL并行调度研发[D]. 张智敏.吉林大学 2015
[3]ETL技术在实现数据分析系统中的应用研究[D]. 薛娟.东华大学 2011
[4]面向对象软件测试技术研究[D]. 刘佳.西南交通大学 2009
[5]基于XML的异构数据库集成中间件系统研究及其在电子政务中的应用[D]. 张凯.南昌大学 2007
[6]数据集成平台中ETL的研究与设计[D]. 武剑.华北电力大学（北京） 2007



本文编号：3076311