分布式大数据不一致性检测

发布时间：2017-10-10 06:23

  本文关键词：分布式大数据不一致性检测

  更多相关文章： 函数依赖 不一致性 冲突检测 分布式数据 大数据

【摘要】：关系数据库中可能存在数据不一致性现象,关系数据库数据质量的一个主要问题是存在违反函数依赖情况.为找出不一致数据,需要进行函数依赖冲突检测.集中式数据库中可以通过SQL技术检测不一致情况,尽管检测效率不高;而分布式环境下不一致性检测更富有挑战性,不仅需要考虑数据的迁移,检测任务如何分配也是一个难题.在大数据背景下,上述问题更加突出.提出了一种分布式环境单函数依赖不一致性检测方法,给出了不一致性检测响应时间代价模型.为减少数据迁移量和响应时间,基于等价类对待检测数据进行预处理.由于分布式环境不一致性检测问题为NP-hard问题,多项式时间内难以得到最优解,给出了代价模型的多项式时间3/2-近似最优解.提出了一种分布式环境多函数依赖不一致性检测方法,基于最小集合覆盖理论,通过一次数据遍历,对多个函数依赖进行并行批检测,同时考虑检测过程中的负载均衡等问题.在真实和人工数据集上的实验表明:相对于传统的检测方法以及基于Hadoop的Na?ve方法,所提出的检测方法检测效率有明显的提升,且扩展性能良好.
【作者单位】： 西北工业大学计算机科学学院;
【关键词】： 函数依赖 不一致性 冲突检测 分布式数据 大数据
【基金】：国家重点基础研究发展计划(973)(2012CB316203) 国家自然科学基金(61472321,61332006,61502390) 国家高技术研究发展计划(863)(2015AA015307) 西北工业大学基础研究基金(3102014JSJ0005,3102014JSJ0013)~~
【分类号】：TP311.13
【正文快照】： jos.org.cn/1000-9825/5052.htm英文引用格式:Li WB,Li ZH,Chen Q,Yang JY,Jiang T.Inconsistency detection in distributed big data.Ruan Jian Xue Bao/Journal of Software,2016,27(8):2068?2085(in Chinese).http://www.jos.org.cn/1000-9825/5052.htmInconsistency Dete

【相似文献】

中国期刊全文数据库 前10条

1 熊中敏;郝忠孝;;基于路径函数依赖和键约束的复杂对象嵌套结构规范化[J];计算机工程;2006年04期

2 卫强;周晓沧;;基于属性预扫描的不确定性函数依赖挖掘[J];清华大学学报(自然科学版);2009年06期

3 程录庆;;条件函数依赖与数据质量控制[J];信息系统工程;2009年11期

4 彭湘凯;陈富强;;函数依赖对商覆盖立方体生成效率的影响[J];计算机工程与应用;2009年34期

5 程录庆;;数据约束表达研究——比较条件函数依赖与传统函数依赖[J];洛阳师范学院学报;2011年11期

6 耿寅融;刘波;;基于条件函数依赖的数据库一致性检测研究[J];计算机工程与应用;2012年03期

7 杜晓昕;王波;戴学丰;;函数依赖判定可行域的人工鱼群属性约简[J];计算机工程与应用;2012年09期

8 李丁月;刘建勋;翟海军;;一种增量发现条件函数依赖的算法[J];计算机工程与科学;2013年08期

9 马垣;属性集合函数依赖的半序同构集[J];计算机学报;1987年10期

10 冯玉才,纪岳;函数依赖结构的研究及应用[J];华中理工大学学报;1989年03期

中国重要会议论文全文数据库 前10条

1 陈长清;冯剑琳;向隆刚;冯玉才;;维之间带函数依赖关系的数据立方的有效计算[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

2 张忠平;曹顺良;李荣;朱扬勇;;基于约束的XML模式规范化研究[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

3 马垣;张小平;白雪;王旭;刘杨;杨鸿雁;;函数依赖作用域及分类规则的挖掘[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

4 赵相国;王国仁;张恩德;丁大斌;霍欢;;XML函数依赖的定义及分析[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

5 马垣;;动态Fuzzy函数依赖[A];第十二届全国数据库学术会议论文集[C];1994年

6 刘云峰;杨冬青;唐世渭;王腾蛟;;基于XML数据交换中的函数依赖转换方法[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 张忠平;余靖;朱扬勇;;基于函数依赖的XML键的推理及其求解算法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

8 彭玉青;何华;顾军华;;基于粗集理论的归纳依赖关系的研究[A];第十七届全国数据库学术会议论文集（技术报告篇）[C];2000年

9 岳昆;郭志懋;胥正川;周傲英;;从XML键到关系数据库函数依赖[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

10 赵文兵;廖湖声;谢昆青;;基于函数依赖的信息泄漏评估研究[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

中国硕士学位论文全文数据库 前10条

1 叶杰敏;不确定数据库及相关理论研究[D];东华大学;2014年

2 李高仕;XML数据库的规范化理论研究[D];湖南师范大学;2008年

3 闫渊;基于信息论和函数依赖的半监督学习[D];吉林大学;2013年

4 吴佳;多态依赖蕴含判定方法的研究[D];北京工业大学;2015年

5 苏杰;基于编辑距离和条件函数依赖的酒店数据清洗方法研究[D];南昌大学;2014年

6 张峰;XML不完全信息的动态发现[D];山东大学;2009年

7 侯林娇;基于函数依赖的成批处理模式挖掘方法研究[D];湖南科技大学;2011年

8 曹颖;云计算环境下分布式数据不一致的研究[D];中国海洋大学;2013年

9 周莉;带约束的XML与RDB数据转换关键技术的研究[D];江西师范大学;2005年

10 毕玉龙;基于Hadoop平台的实体识别系统的研究与实现[D];黑龙江大学;2012年

，

本文编号：1004801