异构数据联合式的真值发现算法

发布时间：2018-03-28 05:03

  本文选题：真值　切入点：真值发现　出处：《东北大学学报(自然科学版)》2017年10期

【摘要】：互联网上提供的同一事实的信息通常会存在冲突,影响数据集成和知识发现.为了甄别真值,提出了一种基于距离的异构数据联合真值发现算法.首先,关于同一数据项,基于数据源声明值与真值的距离,计算数据项向量;采用KMeans聚类算法,获得数据项初始聚类.然后,迭代进行信任分析和聚类,即在每个类簇内,采用最优化思想,联合异构类型数据,更新事实的可信度和数据源的类簇内可靠性,重新计算每个数据项向量,再次聚类,迭代直至类簇达到稳定.实验结果表明:由于细粒度的数据源质量划分,联合考虑异构数据类型,可以获得更高的真值发现准确度.
[Abstract]:The information of the same fact provided on the Internet usually conflicts, which affects data integration and knowledge discovery. In order to identify the true value, a distance based algorithm for the discovery of the joint truth value of heterogeneous data is proposed. First, for the same data item, Based on the distance between the declared value of the data source and the true value, the data item vector is calculated, and the initial clustering of data items is obtained by using KMeans clustering algorithm. Then, trust analysis and clustering are carried out iteratively, that is, the optimization idea is adopted in each cluster. Combining heterogeneous type data, updating the reliability of the facts and the reliability of the data source in the cluster, recalculating each data item vector, clustering again, The experimental results show that due to the fine grained data source quality partition and considering the heterogeneous data types, a higher accuracy of true value discovery can be obtained.
【作者单位】： 东北大学计算机科学与工程学院;渤海大学信息科学与技术学院;
【基金】：国家重点基础研究发展计划项目(2012CB316201) 国家自然科学基金资助项目(61033007,61472070)
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 赵琳;黄玉文;;异构数据交换的理论研究[J];科技信息;2010年21期

2 刘扬,赵文吉,宫辉力;关于异构数据连接的研究[J];首都师范大学学报(自然科学版);2005年01期

3 邹晓玉;;一种异构数据的解决方案[J];台声.新视角;2006年01期

4 刁兴春;严浩;丁鲲;;异构数据转换关键技术的实现[J];计算机工程;2008年17期

5 梁艳;胡先智;;异构数据转换系统设计与实现[J];信息与电脑(理论版);2011年08期

6 詹国华;何炎雯;李志华;;智能健康管理多源异构数据融合体系与方法[J];计算机应用与软件;2012年09期

7 唐钰;陈浩;叶柏龙;;基于逆向清理的实时异构数据整合模型研究[J];计算机工程;2012年23期

8 梁合功;;异构数据迁移系统设计与实现[J];科技致富向导;2013年23期

9 卢庆龄,李庆全,黄俊,张威;异构数据仓库中的知识管理体系研究[J];计算机应用;2003年S2期

10 闫健卓;王普;方丽英;吕效;;“数字校园”异构数据整合系统的设计与实现[J];北京工业大学学报;2005年S1期

相关会议论文 前6条

1 姚燕;李湘;郭萍;郑波;;基于中间件的异构数据检索服务[A];2011年中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会论文摘要[C];2011年

2 伍尚杰;陈立定;曾明;;基于XML异构数据的组态软件[A];中南六省（区）自动化学会第24届学术年会会议论文集[C];2006年

3 李刚;高春阳;崔明;;高校异构数据整合平台建设研究[A];第十届沈阳科学学术年会论文集（信息科学与工程技术分册）[C];2013年

4 江涛;刘东波;刘巍;;基于XML的异构数据集成中间件研究[A];促进企业信息化进程——第十届中国Java技术及应用大会文集[C];2007年

5 周翔;翁剑成;荣建;;基于MDA的异构交通数据管理平台的研究与开发[A];2007第三届中国智能交通年会论文集[C];2007年

6 陈亚洲;齐从谦;甘屹;;基于Web的CAM异构数据转换和传输的研究[A];制造业与未来中国——2002年中国机械工程学会年会论文集[C];2002年

相关博士学位论文 前4条

1 吴红星;面向多业态集团企业多源异构数据的协同系统集成方法研究[D];合肥工业大学;2015年

2 欧明栋;面向大规模异构数据的哈希表征学习研究[D];清华大学;2016年

3 于宝琴;成套电器企业异构数据整合及其物流系统的研究[D];天津大学;2006年

4 缪嘉嘉;异构数据映射技术研究[D];国防科学技术大学;2008年

相关硕士学位论文 前10条

1 陈毅飞;基于多源异构数据的杨凌水肥信息管理系统研究[D];西北农林科技大学;2015年

2 叶茂伟;大规模异构数据即时整合系统的研究与实现[D];浙江大学;2016年

3 荆志;海量异构数据定制平台的设计与实现[D];河北师范大学;2013年

4 朱峰;基于JSON的互联网异构数据整合的应用研究[D];南京邮电大学;2016年

5 李瀚晨;基于“用户—景点”关系建模的景点推荐技术的研究[D];北京工业大学;2016年

6 徐凯;智慧高速海量异构数据处理关键技术研究[D];重庆交通大学;2016年

7 孙靖怡;基于异构数据的复杂关联比对方法的研究与应用[D];沈阳理工大学;2008年

8 邢雅琼;多业务缴费系统异构数据的转换及其实现[D];兰州理工大学;2011年

9 黄豪球;多学科协同设计过程异构数据共享方法研究[D];沈阳理工大学;2012年

10 刘建珍;畜产品溯源系统中异构数据整合问题研究[D];哈尔滨工业大学;2009年

，

本文编号：1674852