基于Hadoop的数据治理系统的设计与实现

发布时间：2022-02-18 13:59

　　在大数据时代,基于不同业务数据开发新的应用程序已成为企业信息化建设的重点。但是,随之产生的诸多数据问题会导致应用程序无法高效且准确地满足实际业务需求,甚至影响整个企业数据平台的建设。因此,为解决以上数据问题,数据治理的相关技术研究逐渐受到各大企业的重视,同时也涌现出许多数据治理方向的系统产品。但是目前已有的数据治理系统具有以下缺点:1)缺乏统一的数据治理标准化流程。2)缺少对大规模数据的多维度展示和建模;3)管理范围狭窄,需要与特定系统对接,且流程复杂,需要大量人工辅助操作环节。为完善这些缺点,本课题围绕“基于Hadoop的数据治理系统的设计与实现”,结合国内外最新研究内容,确定本课题主要研究内容如下:（1）设计实现基于Hadoop的数据管理标准化流程子系统,形成一套对特定结构数据完整的数据治理操作流程,保证治理步骤执行的完整性。（2）在保证数据管理流程标准的基础上,扩展系统适用场景,以开源元数据管理工具Apache Atlas为基础搭建多源元数据统一管理子系统,形成对大数据处理平台元数据信息的统一监管和维护。（3）设计实现基于Kylin的多维数据建模子系统。以数据管理标准化流程子系统... 

【文章来源】：北京邮电大学北京市211工程院校教育部直属院校

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景和意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 研究现状
        1.2.1 数据治理理论研究
        1.2.2 数据治理产品概述
        1.2.3 研究中存在的问题
    1.3 本文主要研究内容
    1.4 硕士在读期间主要完成工作
    1.5 本文组织结构
第二章 数据治理相关技术和方案研究
    2.1 数据治理概念及体系设计
        2.1.1 数据治理概念研究
        2.1.2 数据治理统一流程模型
        2.1.3 海量数据治理技术选型
        2.1.4 本课题研究内容小结
    2.2 元数据管理方案研究
        2.2.1 元数据管理意义
        2.2.2 现有管理工具调研
        2.2.3 开源元数据管理工具——Apache Atlas
        2.2.4 本课题研究内容小结
    2.3 多维度数据的建模方案研究
        2.3.1 多维建模与数据治理的关系
        2.3.2 现有建模方案调研
        2.3.3 本课题研究内容小结
第三章 数据治理系统功能与架构设计
    3.1 需求分析
        3.1.1 系统概述
        3.1.2 系统功能性需求描述
        3.1.3 系统非功能性需求描述
    3.2 系统功能及流程设计
        3.2.1 系统功能设计
        3.2.2 系统工作流程设计
    3.3 系统架构设计
        3.3.1 整体架构设计
        3.3.2 技术架构设计
    3.4 数据库接口设计
        3.4.1 数据管理标准化流程模块
        3.4.2 多维数据建模模块
        3.4.3 数据资产监控模块
第四章 数据治理系统核心模块设计与实现
    4.1 数据管理标准化流程子系统设计与实现
        4.1.1 数据治理信息管理和数据源选择模块设计与实现
        4.1.2 数据预览与单源元数据管理模块设计与实现
        4.1.3 数据质量管理模块设计与实现
        4.1.4 多源数据融合模块设计与实现
    4.2 多源元数据统一管理子系统设计与实现
        4.2.1 多源元数据统一管理方案
        4.2.2 基于Atlas的技术架构设计与实现
    4.3 多维数据建模子系统设计与实现
        4.3.1 系统功能架构设计
        4.3.2 核心模块实现方案
    4.4 全局数据资产监控子系统设计与实现
        4.4.1 系统架构设计
        4.4.2 具体实现方案
第五章 数据治理系统应用与测试
    5.1 数据治理系统应用说明
    5.2 系统功能测试
    5.3 系统性能测试
        5.3.1 系统模块通用测试方案
        5.3.2 多源数据融合模块测试方案
第六章 结论
    6.1 论文工作总结
    6.2 进一步工作
参考文献
致谢
攻读学位期间取得的研究成果


【参考文献】：
期刊论文
[1]面向数据开放的地方政府数据治理:问题与路径[J]. 王翔,郑磊.  电子政务. 2019(02)
[2]我国开放政府数据“脏数据”问题研究及应对——地方政府数据平台数据质量调查与分析[J]. 翟军,李晓彤,苗珍珍,李剑锋.  图书馆. 2019(01)
[3]医疗数据治理——构建高质量医疗大数据智能分析数据基础[J]. 阮彤,邱加辉,张知行,叶琪.  大数据. 2019(01)
[4]企业数据资产治理与管理[J]. 韩旭,曹增义,王昭阳.  电子世界. 2018(23)
[5]企业信息化元数据管理方法研究[J]. 谢庆庆.  中国信息化. 2018(04)
[6]从数据管理走向数据治理——大数据环境下图书馆职能的转变[J]. 任亚忠.  四川图书馆学报. 2017(04)
[7]大数据治理的概念与要素探析[J]. 郑大庆,范颖捷,潘蓉,蔡会明.  科技管理研究. 2017(15)
[8]云端数据治理定义解析[J]. 程广明,李尧,刘小茵.  科技创新导报. 2017(16)
[9]数据治理研究述评[J]. 张宁,袁勤俭.  情报杂志. 2017(05)
[10]开源大数据治理与安全软件综述[J]. 王文杰,胡柏青,刘驰.  信息网络安全. 2017(05)

硕士论文
[1]远程健康监护大数据质量优化控制方法研究[D]. 陈东.广东工业大学 2018
[2]基于数据仓库的社保统计分析系统的设计与实现[D]. 唐磊.电子科技大学 2018
[3]传媒大数据多维数据分析系统的设计与实现[D]. 陈佳文.大连理工大学 2018
[4]H电力公司大数据治理体系构建及实施研究[D]. 刘洁丽.电子科技大学 2017



本文编号：3630963