面向异常数据的鲁棒真值发现算法及其应用

发布时间：2021-11-06 20:15

　　在这个信息爆炸的时代,与某个特定实体相关的信息往往会由多个不同的数据源提供,比如:不同气象观测部门对同一地区的气象要素描述,放射性成像的医学图像分割阈值等。但是,传感器的观测误差,放射性药物的注射计量偏差,这些都会使不同数据源对特定实体的相关信息描述产生不同的偏差。因此,真值发现旨在从多个存在偏差和冲突的数据源中提取出最为可信的信息。近年来,真值发现得到了学术和企业界的广泛关注,传统的真值发现模型往往却依赖于这样的假设:高可靠度的数据源不可能产生大误差的观测值,即使低可靠度的数据源产生的观测误差也在一个确定的范围内。然而,结合大量的实际应用中的数据集,这种假设往往不成立:即使位于城市中心的高可靠度气象观测站也可能因为物理破坏而上传大误差的异常值,一批次的药用实验大鼠中可能因为药物不耐受的个体而使实验产生的图像分割阈值不适用。这种促使传统的真值发现模型中假设不成立的数据,在已有的真值发现文献中被称为异常数据,需要通过人工进行预去除。为此,本文拟研究面向异常数据的鲁棒真值发现算法及其应用,本文主要贡献如下:首先,针对多个可靠度的真值确实存在的情况,核密度估计方法总结了多个真值的候选观测值。... 

【文章来源】：湘潭大学湖南省

【文章页数】：64 页

【学位级别】：硕士

【部分图文】：

气象数据集上的实验结果性能对比

B 收敛速率在测量方法的性能表现时，还需要考虑该算法的收敛速度的快慢。本次实验将在股票数据集上进行 LLR 方法的算法收敛速度测试。如图 3.3 所示, 源 2、3、和 5 的可靠度不断增加，而源 1 的权重则会减小，直到收敛。源权重在第三次迭代结束时达到稳定阶段。因此，所提出的算法能够快速地收敛。

股票数据集上的实验结果性能对比

【参考文献】：
期刊论文
[1]一种高效的大数据增量真值发现算法[J]. 谭龙,张晓琪,贾立,李建中,王宏志.  哈尔滨工程大学学报. 2019(04)
[2]关联数据冲突消解方法研究[J]. 何绯娟,刘文强,缪相林,许大炜.  计算机技术与发展. 2018(11)
[3]基于EM算法的多真值发现问题研究[J]. 陈超,崔红霞.  渤海大学学报(自然科学版). 2017(03)
[4]A Multi-dimensional Trust-aware Cloud Service Selection Mechanism Based on Evidential Reasoning Approach[J]. Wen-Juan Fan,Shan-Lin Yang,Harry Perros,Jun Pei.  International Journal of Automation and Computing. 2015(02)

硕士论文
[1]Web数据集成中基于贝叶斯模型的真值发现研究[D]. 余东.东北大学 2015
[2]劣质数据上真值发现关键技术研究[D]. 王玉龙.哈尔滨工业大学 2014



本文编号：3480455