异构调度环境下ETL工作流监控系统的设计与实现

发布时间：2017-08-21 01:29

  本文关键词：异构调度环境下ETL工作流监控系统的设计与实现

  更多相关文章： 数据仓库 分布式ETL Oozie 调度监控

【摘要】：本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。
【作者单位】： 北京邮电大学网络与交换技术国家重点实验室;东信北邮信息技术有限公司;
【关键词】： 数据仓库 分布式ETL Oozie 调度监控
【基金】：国家杰出青年科学基金(No.60525110) 国家973计划项目(No.2007CB307100,2007CB307103) 国家自然科学基金(No.61072057,60902051) 中央高校基本科研业务费专项资金(BUPT2009RC0505) 国家科技重大专项(No.2011ZX03002-001-01,2001ZX03002-002-01)
【分类号】：TP311.13;TP277
【正文快照】： 随着计算能力和网络存储能力的不断提高,传统的数据存储和数据处理能力已经无法满足大数据的服务需求。数据仓库作为一种大数据平台基础和关键组成部分,被广泛应用在数据挖掘和分析领域。数据仓库在整个大数据生态系统中通常承担数据源的角色,所以数据仓库的质量直接影响着整

【相似文献】

中国期刊全文数据库 前10条

1 唐亮;;ETL技术在地税数据集中项目中的应用探讨[J];电脑知识与技术;2012年21期

2 闫小爽;李忠华;李璐;邹超群;;开源ETL软件在智能化集成系统中的应用[J];智能建筑;2009年04期

3 管丽娟;;数据ETL研究与展望[J];电脑知识与技术(学术交流);2007年06期

4 戴浩;杨波;;ETL中的数据增量抽取机制研究[J];计算机工程与设计;2009年23期

5 周宏广,周继承,彭银桥,龙思锐;数据ETL工具通用框架设计[J];计算机应用;2003年12期

6 刘映辉;晏妮;;基于ETL技术的商业银行自动对账系统[J];中国金融电脑;2009年04期

7 刘诚文;;为ETL选一个操作系统?[J];软件世界;2007年21期

8 孙伟,张忠能;ETL架构研究[J];微型电脑应用;2005年03期

9 周茂伟;邓苏;黄宏斌;;基于元数据的ETL工具设计与实现[J];科学技术与工程;2006年21期

10 许威;;同步/异步ETL架构的比较[J];中国金融电脑;2007年04期

中国重要报纸全文数据库 前1条

1 廖志颖;开源形式引领ETL软件未来[N];通信产业报;2007年

中国硕士学位论文全文数据库 前6条

1 张曜;山西邮政综合信息管理系统中ETL的设计与实现[D];北京邮电大学;2010年

2 毛天明;一种ETL应用的自动化开发及部署框架[D];浙江大学;2011年

3 周洪林;面向Hadoop平台的ETL语言编译器的设计与实现[D];复旦大学;2012年

4 陈翔;基于ETL的个人征信系统设计与开发[D];中国海洋大学;2009年

5 刘心光;基于MapReduce作业拆分组合机制的并行ETL组件实现[D];北京邮电大学;2014年

6 岳安;基于企业标准审批流程系统的设计与实现[D];电子科技大学;2014年

，

本文编号：710066