基于内容相关的条件函数依赖的一致性清洗方法

发布时间：2017-09-12 06:18

  本文关键词：基于内容相关的条件函数依赖的一致性清洗方法

  更多相关文章： 数据清洗 条件函数依赖 内容相关 数据一致性 修复代价模型

【摘要】：基于条件函数依赖提出了一种内容相关的条件函数依赖,并给出基于内容相关的条件函数依赖的一致性清洗方法.通过分析条件函数依赖之间的关系,将相关联的条件函数依赖合并组成内容相关的条件函数依赖.内容相关的条件函数依赖可以检测多条件值下的数据一致性问题并提供可用于一致性修复的参考值.同时,提出了一种一致性修复的代价模型.模型参考内容相关的条件函数依赖对应元组的实际情况进行修复,实现代价最优,同时保证数据一致性.通过在两组真实数据集上进行试验测试,证明提出的基于内容相关的条件函数依赖的一致性清洗方法能够准确地检测数据的一致性问题并加以修复.
【作者单位】： 东北大学信息科学与工程学院;中国人民解放军65154部队;
【关键词】： 数据清洗 条件函数依赖 内容相关 数据一致性 修复代价模型
【基金】：国家重点基础研究发展计划项目(2012CB316201) 国家自然科学基金资助项目(61033007)
【分类号】：TP311.13
【正文快照】： 美国商业调查显示美国每年因数据质量造成的损失高达6000亿美元[1].数据一致性[2-3]是数据质量管理的一项重要内容.不一致数据会使数据产生歧义进而对数据分析造成影响,所以必须加以更正.随着对数据质量的研究愈加深入,关于数据一致性的管理技术也在不断成熟.近年来,对数据一

【相似文献】

中国期刊全文数据库 前10条

1 熊中敏;郝忠孝;;基于路径函数依赖和键约束的复杂对象嵌套结构规范化[J];计算机工程;2006年04期

2 卫强;周晓沧;;基于属性预扫描的不确定性函数依赖挖掘[J];清华大学学报(自然科学版);2009年06期

3 程录庆;;条件函数依赖与数据质量控制[J];信息系统工程;2009年11期

4 彭湘凯;陈富强;;函数依赖对商覆盖立方体生成效率的影响[J];计算机工程与应用;2009年34期

5 程录庆;;数据约束表达研究——比较条件函数依赖与传统函数依赖[J];洛阳师范学院学报;2011年11期

6 耿寅融;刘波;;基于条件函数依赖的数据库一致性检测研究[J];计算机工程与应用;2012年03期

7 杜晓昕;王波;戴学丰;;函数依赖判定可行域的人工鱼群属性约简[J];计算机工程与应用;2012年09期

8 李丁月;刘建勋;翟海军;;一种增量发现条件函数依赖的算法[J];计算机工程与科学;2013年08期

9 马垣;属性集合函数依赖的半序同构集[J];计算机学报;1987年10期

10 冯玉才,纪岳;函数依赖结构的研究及应用[J];华中理工大学学报;1989年03期

中国重要会议论文全文数据库 前10条

1 陈长清;冯剑琳;向隆刚;冯玉才;;维之间带函数依赖关系的数据立方的有效计算[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

2 张忠平;曹顺良;李荣;朱扬勇;;基于约束的XML模式规范化研究[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

3 马垣;张小平;白雪;王旭;刘杨;杨鸿雁;;函数依赖作用域及分类规则的挖掘[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 赵相国;王国仁;张恩德;丁大斌;霍欢;;XML函数依赖的定义及分析[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

5 马垣;;动态Fuzzy函数依赖[A];第十二届全国数据库学术会议论文集[C];1994年

6 刘云峰;杨冬青;唐世渭;王腾蛟;;基于XML数据交换中的函数依赖转换方法[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 张忠平;余靖;朱扬勇;;基于函数依赖的XML键的推理及其求解算法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

8 彭玉青;何华;顾军华;;基于粗集理论的归纳依赖关系的研究[A];第十七届全国数据库学术会议论文集（技术报告篇）[C];2000年

9 岳昆;郭志懋;胥正川;周傲英;;从XML键到关系数据库函数依赖[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

10 赵文兵;廖湖声;谢昆青;;基于函数依赖的信息泄漏评估研究[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

中国硕士学位论文全文数据库 前10条

1 叶杰敏;不确定数据库及相关理论研究[D];东华大学;2014年

2 李高仕;XML数据库的规范化理论研究[D];湖南师范大学;2008年

3 闫渊;基于信息论和函数依赖的半监督学习[D];吉林大学;2013年

4 吴佳;多态依赖蕴含判定方法的研究[D];北京工业大学;2015年

5 苏杰;基于编辑距离和条件函数依赖的酒店数据清洗方法研究[D];南昌大学;2014年

6 张峰;XML不完全信息的动态发现[D];山东大学;2009年

7 侯林娇;基于函数依赖的成批处理模式挖掘方法研究[D];湖南科技大学;2011年

8 曹颖;云计算环境下分布式数据不一致的研究[D];中国海洋大学;2013年

9 周莉;带约束的XML与RDB数据转换关键技术的研究[D];江西师范大学;2005年

10 毕玉龙;基于Hadoop平台的实体识别系统的研究与实现[D];黑龙江大学;2012年

，

本文编号：835562