基于元数据的数据质量评估算法研究与实现

发布时间：2021-03-03 19:30

　　数据质量的高低对企业乃至国家都起到举足轻重的作用,拥有高质量的数据已成为企业发展的重要保障,如何对数据进行质量检查,找出问题数据已成为信息时代的热点问题。数据质量评估是衡量数据问题最有效的途径,通过对数据进行质量评估,不仅可以知道数据的质量高低,还可以定位到问题数据的位置,为提高数据质量奠定基础。数据质量评估的维度包括完整性、一致性、准确性、关联性和及时性等,通常对数据质量的评估是通过多个维度进行的,这些维度的确定需要根据数据本身的特点来决定。本文在针对关系型数据库中的数据质量方面,提出了一种普遍适用的基于元数据的规则提取模型,解决了在定量评估方面使用数据集单一的问题,该模型能够对数据源进行统一处理并提取出元数据和部分评估规则,通过建立异构数据源接口,从数据库、数据表到数据项逐步深入分析,最终形成元数据规则库,规则库为数据质量评估提供了依据。接着在数据完整性、准确性和一致性这三个维度上建立了评估算法,最后对整个数据库进行了评估,评估结果可以清楚地反映数据的质量状况,表明了该模型下算法的实用性和可靠性。 

【文章来源】：中国石油大学(北京)北京市 211工程院校 教育部直属院校

【文章页数】：47 页

【学位级别】：硕士

【部分图文】：

数据质量问题分类（一）

第2章数据质量相关技术理论-8-图2.1数据质量问题分类（一）Fig.2.1Classificationofdataqualityproblem（一）图2.2数据质量问题分类（二）Fig.2.1Classificationofdataqualityproblem（二）2.3数据质量评估维度WangR.Y第一次提出了从各个维度对数据进行质量评估，从此开创了使用维度来定量评估数据质量的先河。后来，很多学者都开始对评估维度进行了大量研究。WangR.Y等人针对用户对数据的需求，通过对118种性质的分析调研，最后迅捷PDF编辑器

中国石油大学（北京）硕士学位论文-13-图2.3数据质量评估框架Fig.2.3Assessmentframeworkofdataquality框架图由数据层、维度层和规则层三层结构组成，它清楚地表明了数据质量的评估流程。第一步：确定数据集，它可以是一个关系型数据库，可以是一个数据仓库，也可以是其他的数据组织格式；第二步：给定评估维度，从诸多维度中选择最符合当前数据集的一个或多个维度；第三步：根据选择的维度，结合对数据的需求，定义各维度的约束规则，这些规则的集合就形成了一个规则库；最后参考规则库对数据质量实施评估。迅捷PDF编辑器

【参考文献】：
期刊论文
[1]基于规则库的数据质量评估方法[J]. 刘芳,李敏,任洪敏,周兆明.  计算机系统应用. 2017(11)
[2]大数据时代应急数据质量治理研究[J]. 郭路生,刘春年.  情报理论与实践. 2016(11)
[3]GDP数据质量评估方法研究[J]. 朱飞飞.  统计科学与实践. 2015(02)
[4]国外统计数据质量评估框架、方法及对我国的借鉴[J]. 朱松,高喜燕.  西部金融. 2014(10)
[5]基于交互验证的数据质量评估方法的研究[J]. 凌云,吕王勇,张里静.  水资源与水工程学报. 2014(01)
[6]大数据时代下数据质量的挑战[J]. 宗威,吴锋.  西安交通大学学报(社会科学版). 2013(05)
[7]浅谈如何提高统计数据质量[J]. 黄建凯.  统计与咨询. 2013(04)
[8]中国城镇化质量研究[J]. 何平,倪苹.  统计研究. 2013(06)
[9]浅谈如何提高统计数据质量[J]. 唐宽英.  商场现代化. 2013(09)
[10]SOA下的数据质量管理[J]. 何明东.  现代计算机(专业版). 2013(03)

硕士论文
[1]轨迹数据的完整性检测方法研究[D]. 文春雷.石河子大学 2017
[2]基于本体的石油领域数据质量模型研究[D]. 张晓冉.东北石油大学 2017
[3]数据质量评估方法研究[D]. 凌云.四川师范大学 2015
[4]基于元数据的银行数据质量管理技术研究[D]. 于天娇.浙江大学 2015
[5]基于元数据的数据质量控制与评估模型研究[D]. 刘伟.东北石油大学 2011
[6]基于元数据的数据中心管理系统的设计与实现[D]. 吉文杰.东华大学 2011



本文编号：3061808