ETL在数据中心中的设计与实现

发布时间：2020-12-24 23:03

　　随着信息化建设的开展,政府加大投资力度进行信息系统建设,以帮助政府进行电子政务处理和管理工作。这些系统的运行,积累了大量的业务数据；但各个系统的业务数据分布在各自的系统中(操作系统、数据库管理系统和数据标准都不相同)。这些数据之间缺乏对应和转换关系,协同能力较差,形成“信息孤岛”。信息虽然可以在本系统中进行流转,但与其他系统的交互性较差。各自孤立运作的系统将会产生大量的冗余数据和造成业务人员的重复劳动,而采用传统点对点的数据交换方式将使得系统的集成费用和维护成本成倍增加。构建公共数据中心成为当务之急。ETL(Extractio、Transform and Load,数据抽取、转换和装载)是构建公共数据中心的关键环节。ETL系统将一个机构的所有的信息资源集成到一个无缝的、并列的、易于访问的数据资产中；这样可使一个功能强大的数据资产运作起来就像一个单一系统。ETL通过建立底层数据交换平台来联系整个部门机构的异构系统、应用、数据源等。该平台用于满足机构内部的业务系统、数据库、数据仓库,以及其它重要的内部系统之间无缝地共享和交换数据的需要。本文以本人参与的上海市浦东新区政府公共数据中心信息系统... 

【文章来源】：东华大学上海市 211工程院校 教育部直属院校

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

浦东新区数据中心数据流向图

统首先通过B/S系统定义用户数据格式与标准格式的对于及转换关系，据库与目的数据库对应关系，设置需要抽取数据情况及抽取规则，数据据配置信息，定时或实时做数据抽取，对于抽取到中心数据库的数据，S系统查询、下载。系统结构图如下:

图3.5数据管理子系统系统结构图(1)源数据层源数据层根据数据中心对数据的定制需求，实现对各委办局结构化数据和非结构化数据的动态采集、规整和入库处理，形成数据中心缓冲数据库。源数据层的主要工作是对各委办局现有数据采集相关系统或功能模块进行调研分析，通过配置管理配置数据前置服务器的工作模式，通过元数据管理实现数据源的正确定义，通过DMETL实现数据抽取和传输等。(2)数据处理层数据处理层通过DMETL对数据层形成的缓冲数据库中的数据进行提取、检验、转换等处理，通过构建各类业务数据库和管理数据库实现数据一体化存储与管理，形成完整的数据中心共享数据库，为数据中心日常的查询和下载等业务需求提供准确的数据来源。


本文编号：2936464