阿里云上基于规则的数据质量管理系统的设计与实现

发布时间：2024-05-11 18:40

　　按照国家税务总局“互联网+税务”行动的战略部署,随着数据集中、大数据应用等项目的逐渐开展,各省对于数据质量提升的需求,越来越迫切。为了满足总局对数据质量提升的需求,为了指导数据质量工作的开展,建立一个完整、准确的数据质量管理体系,架设一个专业、高效的数据质量监控平台,成为一种必然的趋势。本文所描述的是采用B/S网络架构、Sword框架、J2EE技术与java语言实现数据质量管理系统。该系统同时运用了成熟的阿里云技术和产品,包括对象存储(0SS)、大数据计算服务(ODPS)、云数据库(RDS)和云服务器(ECS),等。系统设计时采用了包含展示层、服务层、中间层、数据层的四层架构,同时采用云数据库(RDS)进行数据存储。本系统所使用的关键技术除了阿里云相关的一系列组件外,还运用了 JSqlParser插件解析SQL语句,运用Quartz组件进行任务调度。经过设计与实现环节,数据质量管理系统所实现的功能有质量需求管理功能、质量规则管理功能、质量任务管理功能、质量问题管理功能和质量问题监控功能。其中,质量需求管理最终实现质量需求定义和质量需求维护。质量规则管理最终实现质量规则定义和质量规则维护...

【文章页数】：99 页

【学位级别】：硕士

【部分图文】：

图３－１阿里云部署架构图??由上图可知，平台层主要有云计算支撑平台、大数据支撑平台和安全防护平??

数据质量管理系统是建立在阿里云的一系列产品的基础之上。整个系统的平??台层就是运用阿里云的一整套技术和产品，在内网环境搭建的一套私有云平台。??整个平台层的部署架构图，如图３－１所示。??「Ｉ－］???－Ｔ７???１?—＇??Ｉ大数据?数据?Ｉ??Ｉ开发?釅努??］套件?????....

图３－２量理的

数据库ＲＤＳ、对象存储服务ＯＳＳ、大数据计算服务ＯＤＰＳ和通用大型ＯＲＡＣＬＥ数据库。??其中０ＤＰＳ在运行自定义任务以后，会产生新的数据，所以０ＤＰＳ中存在数据回路的??情形。数据质量管理系统具体的数据流向图，如图３－２所示。??ｌｉｉ￣￣Ｔ￣１?Ｉ?云数??存储麵??ＯＳＳ?....

图３－３数据质量管理系统的架构图??平台层：平台层主要有云计算支撑平台、大数据支撑平台和安全防护平台三??组成

可通过ＷＥＢ方式访问系统。数据质量管理系统的技术架构设计分为平台层、数据?＾??层、中间层、服务层、展示层五个层级，具体的系统架构图，如图３－３所示：??数据质量管理系统门户?＇??｜数据质量管理系统功能服务｜??质量需求管理?质量规则管理?质量任务管理?质量问题管理?质量问题监....

图４－１数据质量管理系统登录界面??４．２．２

在浏览器中输入数据质量管理系统的网址，进入到平台登录页面中，输入用??户名、密码等后选择登录即可。登录到平台中，就可以执行相应的功能操作。??数据质量管理系统的登录页面，如图４－１所示。??夢處参卜’＇卜卜〕齊＿身麵參締雜？??ｒ?，??ｉｍ????二??图４－１数据质量管理系统....

本文编号：3970271