面向政府数据开放的数据清洗框架与应用研究

发布时间：2021-12-02 16:55

　　政府掌握着丰富且具有价值的数据资源,“开放政府数据”可以推动资源的有效利用,避免数据资源的闲置与浪费。我国的“开放政府数据”运动正处于快速发展阶段,仅2019年便新增50多个地方政府数据开放平台,但快速发展的同时也存在着很多问题。我国的政府开放数据与美国、欧盟等发达国家相比存在着数据质量较低、格式不规范等问题。数据质量决定数据的可用性与易用性,数据质量问题影响我国政府数据开放的效果,只有高质量的数据才是可用的数据。数据清洗是提高我国政府开放数据的数据质量的方式,但针对我国政府开放数据中存在的数据质量问题,目前并没有合适的数据清洗框架与工具,这将影响到数据开放的效果。为此,本文的主要工作有:（1）调研我国政府开放数据,发现其存在的数据质量问题,并按照政府开放数据领域通用的数据质量维度标准记录每个维度存在的质量问题;（2）根据我国政府开放数据中“脏数据”的种类与特点,明确了我国政府开放数据的清洗需求,分别为“脏数据”清洗与数据的格式转换。设计开发适用于我国政府开放数据的基于规则的数据清洗框架,根据国际与国内的数据标准,利用清洗规则实现对“脏数据”的清洗,提高数据质量,同时将清洗后的数据通过... 

【文章来源】：大连海事大学辽宁省 211工程院校

【文章页数】：105 页

【学位级别】：硕士

【部分图文】：

图４．?８深圳市待清洗数据集模式层的字段名称??Ｆｉｇ．?４．８?Ｆｉｅｌｄ?ｎａｍｅ?ｏｆ?ｄａｔａ?ｓｅｔ?ｍｏｄｅ?ｌａｙｅｒ??

３０５?南山区?ＭＢ２Ｃ１３２］深圳大学『５１８０００?？聚圳市南综合医院?０７５５－２１８３９０００?－?ｒ４４０３０５０（－??４７?４６『４４０３１０坪山区ＰＤＹ７１１９彳深圳平乐『５１８０００深圳市坪中西医结０７５５－２８３２８０１１?－?『４４０３１００＾??４８?＼ｌ?ｒ４４０３１０坪山区－?深圳市坪％１８０００深圳市坪妇幼保健－?－?－??４９?＂４８?３４０３１０坪山区－?深圳市坪＾１８０００深圳市坪综合医院－??集：深圳市设置发热门诊的医疗机构名单??图５．?３深圳市设置发热门诊的医疗机构名单清洗前后对比??Ｆｉｇ．?５．３?Ｃｏｍｐａｒｉｓｏｎ?ｏｆ?ｌｉｓｔ?ｏｆ?ｍｅｄｉｃａｌ?ｉｎｓｔｉｔｕｔｉｏｎｓ?ｗｉｔｈ?ｆｅｖｅｒ?ｃｌｉｎｉｃ?ｉｎ?Ｓｈｅｎｚｈｅｎ?ｂｅｆｏｒｅ?ａｎｄ?ａｆｔｅｒ?ｃｌｅａｎｉｎｇ??根据上图可以看出，清洗前“ＴＥＬＰＨＯＮＥ＿ＮＵＭＢＥＲ”字段中电话号码未加区号，同??时２１行区号与电话号码的分隔符一列中格式不一致（Ｅ１），多个字段中存在数据缺失??（Ａ１），利用清洗规则ＲＮｏｌ、ＲＮ〇８和ＲＮｏｌＯ完成了实例层数据清洗；该数据集还存??在模式层的数据模式定义不明晰（Ｐ３）的问题，利用元数据中数据项的定义完成模式替??换，具体替换过程见４．４．３小节的模式层清洗实现。??图５．４为山东省新型冠状病毒感染确诊病例信息清洗前后对比，结合表５．５山东新??冠肺炎疫情数据的质量元数据表，检测出该数据集的第４个字段存在数据不是原子的??（Ｆ６）的数据质量问题，利用清洗规则ＲＮ〇１４完成数据清洗。??－７０?－??

??８?房山区?０?１６????９?通州区?０?１９???１０?颠义区?０?１０???１１?昌平区?０??２９??１２?大兴区?０??３９??１３?怀柔区?０?；?７???１４?平?ｇＲ?０?０＿???１５?密云区?０?７???１６?延庆区?０?１???１７?外地来京人员?０??２５???１８丨境外输入人员｜?１?１６７??图５．?７待格式转换的北京疫情数据??Ｆｉｇ．?５．７?Ｂｅｉｊｉｎｇ?ｅｐｉｄｅｍｉｃ?ｄａｔａ?ｔｏ?ｂｅ?ｃｏｎｖｅｒｔｅｄ??利用清洗框架中的格式转换模块将ＣＳＶ格式的数据转换分别为ＪＳＯＮ格式和ＸＭＬ??格式，图５．８和图５．９分别为格式转换后的ＪＳＯＮ格式和ＸＭＬ格式的数据??＿匕）北京疫情教据．ＪＳ＜ｍＥ３｜??＇￣Ｉ?＂４Ｍ；?Ｓｆｅ＇ａ＾Ｌ＾Ｓ：＂：?？０＂，?＂４＾２＆２４？ｔ?：?＂１４＂），?（—??”生５／’：?”２＂，?＂西域Ｋ＇?＂４月２日新增病例数”０”，ｎ４月２曰２４时累计病砀数登＂：”５３＂｝，?｛??＂庄Ｓ＂：?ｗ３”，＂区”數風区”，＂４月２彐佘增病沅教登”：＂０”，＂４月２曰２４Ｂ＾■累计病Ｍ僉：！：＂：?＂７２”｝，?｛??＂庄５＂：?＂４＂，?＂龜淀？区＇?＂４月２曰新增病例數：！；＂：?ｎ０”，＂４月２曰２４＃僉计病加致音”：”６４”｝，?｛??”庄衰”：ｎ５”，ｎｉＳ＞：?”丢息区＂，月２曰新增病例数登”：”０”，Ｍ片２曰■累计病沅僉登＂：＂４３”｝，?｛??”庚吾：＂：”６


本文编号：3528816