一个大数据治理系统的设计与实现
发布时间：2021-11-26 23:46
随着分布式存储、分布式计算等相关技术的成熟,大数据产业也获得了快速的发展,无论是政府和企业都看到了大数据中所孕育的巨大的价值,开始对过去众多业务系统所累积的庞大的数据进行价值挖掘。但是传统的数据管理模式与处理方式已经无法满足政府和企业对于海量异构数据进行多元化管理、标准化治理、高质量融合,并通过高质量数据实现精准治理、快速决策的业务需求,而要让这些海量数据释放出其蕴含的强大力量,必须要保证这些数据的准确性、可靠性以及及时性,而要达成这一目标,如果没有合适、高效的工具仅靠人力是难以完成的,因此我们有必要为用户提供一套行之有效的工具来协助用户进行数据治理。本文的目的就是为了建设一套这样的数据治理系统,通过该系统一方面让用户能够对多源异构数据进行多维组织、统一管理、快速检索;同时能够建立一套统一的数据标准与数据治理流程,能够持续地对数据进行检测处理,保证数据精确,为后续的业务决策提供高价值的土壤。本文首先对国内大数据治理系统的市场规模和系统建设现状等信息进行阐述,提出目前大数据治理系统所面临的挑战,以及建设大数据治理系统的必要性和意义。其次,本文将分析大数据治理系统的用户需求,包括功能需求和...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
图２－１大数据治理整体业务流程图??从整体业务流程来看，数据资产管理对用户所拥有的各种类型的数据源进??行注册和编目，并通过内部自建的监控任务对数据进行检测，让用户能够理清??
?山东大学硕士学位论文???高一些，下面将从四个方面对本文所实现的大数据治理系统架构进行详细介绍。??３．２．１大数据治理系统功能架构??根据系统整体需求以及架构设计，系统整体功能性设计图如图３－１所示：２１］。??｜｜?ｕ?修复算法魏?｜?衛繊■—?ｎ??Ｓ?ｉ?Ｈ?｜｜｜?３＾：１?ｍｍ?；，问觀据丨｜质齡析报告１??＾￣￣??：?；???：?－—色??監?Ｈ?｜?■；雄ｔｓ?！！?Ｓ?２?Ｔ?＼?－｜｜－??—?－■?…，?—?一￣＝?－?＿ｆＳ＿＾??曰志?数据源管理?；元数据管理?１数据资产统计?＿检索?―寂限???８１＿＾理?ｌ?」；．．?■■?１??ｌ?乂?ｔａ??ｉ?—?????—Ｉ；?曰志??賺ｓｓ職存储系统—关＿廳產？】赌蔽一卜大雛平台■??—Ｉ?Ｉ?？?：?￣￣???．．．??—??￣￣￣？■？－｝；?．．?１．?：．?；?！＇???图３－１大数据治理系统功能架构图??从该功能架构图上可以看到，本文所实现的大数据治理系统总体可划分为??六大部分，每一部分的具体说明如下：??１、数据资产管理??（１）提供数据源配置、数据资产目录管理和数据地图管理功能。其中数据??源配置既可以注册传统的关系型数据库，又可以注册大数据存储系统。数据资??产目录管理可为数据资产建立索引，方便用户快速定位和检索数据资产并进行??数据治理。数据地图可将数据按主题和专题等维度进行逻辑组织，以便于从不??同的维度管理、查阅数据。??（２）提供元数据管理功能，对元数据进行自动获娶维护。可自动地根据??用户配置的获
?山东大学硕士学位论文???资源管理主要是对系统的菜单，按钮以及其他资源进行增删改等操作。日志管??理对所有的用户操作行为进行记录并提供查询，方便安全审计。??３．２．２大数据治理系统物理架构??系统整体的物理架构图也是网络拓扑图如图３－２所示。??；；ＭＭ??｜?丨＿，，—门Ｓｆｌ??＿！?．．．．．．．．．．．?■??＊?１１１１１１１?＼?ｉ?＿?：國幽＾?—ｌ?＾??＃＝—？；?；｜?圍圓圍士?｜?Ｒｅｄｉｓ＾??！?＼ｗｍｔｍｗｊ?＼?ｉ??苔户職?ｉ?Ａ??７?；??Ｎｇｍｘ?ｊ?－Ｗ－?ｒ－?ｙ－?ｇ；???Ｉ?？圓?！?ＬｉｔＨ?隻ｆ．ｊ??辦??！??图３－２大数据治理系统物理架构图??在该网络拓扑架构图中，大数据治理系统主体为虚线圈住的部分，其中包??括数据标准服务、数据质量服务、数据资产服务和数据修复服务四个核心服务，??以及权限认证中心、系统管理服务和任务调度服务三个基础服务，Ｚｉｍｌ网关服??务和注册中心使用ＳｐｒｉｎｇＣＬｏｕｄ通用解决方案。其他的Ｎｇｉｎｘ、存储集群、计??算集群以及Ｒｅｄｉｓ服务器均采用各自项目统一的资源池，由项目统一管理。??系统中的所有服务均采用多节点部署模式，避免出现单点故障，根据系统??业务量、数据量以及访问量的增长，各服务可线性扩展，满足业务增长需要；??所使用的服务器资源可根据负载情况进行自动调配，使相关硬件资源达到最优??使用率。??从逻辑上看，大数据治理系统整体可划分为接入层、权限中心、业务服务、??调度中心和存储层五大部分。其中接入层包含两大部分，一是反向代理Ｎｇｉｎｘ，??它对所有用户交互请求进行负载均衡；二
本文编号：3521160
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
图２－１大数据治理整体业务流程图??从整体业务流程来看，数据资产管理对用户所拥有的各种类型的数据源进??行注册和编目，并通过内部自建的监控任务对数据进行检测，让用户能够理清??
?山东大学硕士学位论文???高一些，下面将从四个方面对本文所实现的大数据治理系统架构进行详细介绍。??３．２．１大数据治理系统功能架构??根据系统整体需求以及架构设计，系统整体功能性设计图如图３－１所示：２１］。??｜｜?ｕ?修复算法魏?｜?衛繊■—?ｎ??Ｓ?ｉ?Ｈ?｜｜｜?３＾：１?ｍｍ?；，问觀据丨｜质齡析报告１??＾￣￣??：?；???：?－—色??監?Ｈ?｜?■；雄ｔｓ?！！?Ｓ?２?Ｔ?＼?－｜｜－??—?－■?…，?—?一￣＝?－?＿ｆＳ＿＾??曰志?数据源管理?；元数据管理?１数据资产统计?＿检索?―寂限???８１＿＾理?ｌ?」；．．?■■?１??ｌ?乂?ｔａ??ｉ?—?????—Ｉ；?曰志??賺ｓｓ職存储系统—关＿廳產？】赌蔽一卜大雛平台■??—Ｉ?Ｉ?？?：?￣￣???．．．??—??￣￣￣？■？－｝；?．．?１．?：．?；?！＇???图３－１大数据治理系统功能架构图??从该功能架构图上可以看到，本文所实现的大数据治理系统总体可划分为??六大部分，每一部分的具体说明如下：??１、数据资产管理??（１）提供数据源配置、数据资产目录管理和数据地图管理功能。其中数据??源配置既可以注册传统的关系型数据库，又可以注册大数据存储系统。数据资??产目录管理可为数据资产建立索引，方便用户快速定位和检索数据资产并进行??数据治理。数据地图可将数据按主题和专题等维度进行逻辑组织，以便于从不??同的维度管理、查阅数据。??（２）提供元数据管理功能，对元数据进行自动获娶维护。可自动地根据??用户配置的获
?山东大学硕士学位论文???资源管理主要是对系统的菜单，按钮以及其他资源进行增删改等操作。日志管??理对所有的用户操作行为进行记录并提供查询，方便安全审计。??３．２．２大数据治理系统物理架构??系统整体的物理架构图也是网络拓扑图如图３－２所示。??；；ＭＭ??｜?丨＿，，—门Ｓｆｌ??＿！?．．．．．．．．．．．?■??＊?１１１１１１１?＼?ｉ?＿?：國幽＾?—ｌ?＾??＃＝—？；?；｜?圍圓圍士?｜?Ｒｅｄｉｓ＾??！?＼ｗｍｔｍｗｊ?＼?ｉ??苔户職?ｉ?Ａ??７?；??Ｎｇｍｘ?ｊ?－Ｗ－?ｒ－?ｙ－?ｇ；???Ｉ?？圓?！?ＬｉｔＨ?隻ｆ．ｊ??辦??！??图３－２大数据治理系统物理架构图??在该网络拓扑架构图中，大数据治理系统主体为虚线圈住的部分，其中包??括数据标准服务、数据质量服务、数据资产服务和数据修复服务四个核心服务，??以及权限认证中心、系统管理服务和任务调度服务三个基础服务，Ｚｉｍｌ网关服??务和注册中心使用ＳｐｒｉｎｇＣＬｏｕｄ通用解决方案。其他的Ｎｇｉｎｘ、存储集群、计??算集群以及Ｒｅｄｉｓ服务器均采用各自项目统一的资源池，由项目统一管理。??系统中的所有服务均采用多节点部署模式，避免出现单点故障，根据系统??业务量、数据量以及访问量的增长，各服务可线性扩展，满足业务增长需要；??所使用的服务器资源可根据负载情况进行自动调配，使相关硬件资源达到最优??使用率。??从逻辑上看，大数据治理系统整体可划分为接入层、权限中心、业务服务、??调度中心和存储层五大部分。其中接入层包含两大部分，一是反向代理Ｎｇｉｎｘ，??它对所有用户交互请求进行负载均衡；二
本文编号：3521160
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3521160.html
