基于稀疏重构权的错误标注数据检测方法

发布时间：2019-11-09 06:24

【摘要】：数据分类的准确性依赖于数据标注的质量和数量,当训练数据被错误标注时,数据分类的准确性会受到很大的影响。针对这种情形,提出一种基于稀疏重构权的错误标注数据检测方法。首先,对含有错误标注数据集采用k近邻的方法求取其近邻点;然后,通过求解带L1-范数的最小二乘模型计算每个标注数据的局部稀疏重构权,并利用稀疏重构权计算每个标注数据的置信度;最后,通过寻找置信度曲线中最大曲率的位置,自适应地检测出错误标注数据。通过实际数据的实验验证了本文所提算法的有效性。
【图文】：

曲线,基本流程图,数据点

１０］提出的基于稀疏流形聚类嵌入模型和Ｌ１范数正则化的标注错误检测ＳＭＣＥ＿ＬＥＤ（ＳｐａｒｓｅＭａｎｉｆｏｌｄＣｌｕｓｔｅｒｉｎｇａｎｄＥｍ－ｂｅｄｄｉｎｇｆｏｒＬａｂｅｌｉｎｇＥｒｒｏｒｓＤｅｔｅｃｔｉｎｇ）。该方法有效地利用了数据集自身的数据结构，又结合数据集当中部分已知的正确数据标注，从而有效地检测出数据集当中的错误标注。然而实际获取的训练数据，往往无法或很难事先已知部分正确标注数据。Ｆｉｇｕｒｅ１Ｂａｓｉｃｆｌｏｗｃｈａｒｔｏｆｔｈｅａｌｇｏｒｉｔｈｍ图１本文算法的基本流程图对此，本文提出一种新的错误标注数据检测方法，在无法获取已知部分正确标注数据的情况下，实现对错误标注数据的自动检测。该方法通过求解带Ｌ１－范数的最小二乘模型计算每个标注数据的局部稀疏重构权，并利用稀疏重构权计算每个标注数据的置信度。通过寻找置信度曲线中最大曲率的位置，自适应地划分含错标注数据集，实现对含错标注数据集中错误标注的检测。２基于稀疏重构权的错误标注数据检测２．１算法原理假设含错标注数据集｛ｘ１，…，ｘＮ｝可以分成ｃ类，数据ｘｉ的标注为ｃｉ∈｛１，２，…，ｃ｝，本文算法的目的是自适应地检测出数据集当中错误标注的数据。在实际应用当中，数据通常分布或近似分布于一个低维流形。基于流形学习思想的假设［１３］，可以认为每个数据点的局部邻域具有线性结构。基于数据点的局部邻域，可以构造其局部稀疏重构权。当数据点的邻域包含异类标注数据时，异类标注数据对数据点的重构权值通常会很校基于此现象，可以利用局部稀疏重构权计算每个数据点的置信度。由于错误标注和正确标注

手写数字,邻域

Ｆｉｇｕｒｅ２Ｈａｎｄｗｒｉｔｔｅｎｎｕｍｂｅｒ１ａｎｄｉｔｓｌｏｃａｌｎｅｉｇｈｂｏｒｈｏｏｄｉｍａｇｅｓ图２手写数字１和其局部邻域图通过求解最小二乘问题（２）可以计算重构权值向量为｛０．７３８５，０．４６１１，－０．１２，－０．０９７６，０．０１８｝。显然，手写数字７的权值明显小于其它邻域点的权值。为了进一步降低异类标注数据的权值，本文借鉴稀疏流形聚类嵌入ＳＭＣＥ（ＳｐａｒｓｅＭａｎｉｆｏｌｄＣｌｕｓｔｅｒｉｎｇａｎｄＥｍｂｅｄｄｉｎｇ）算法中的策略［１５］。在最小二乘问题（２）中引入ｗｉ的Ｌ１－范数正则项，即：ｍｉｎｗｉ‖Ｇｉｗｉ‖２２＋λ‖Ｑｉｗｉ‖１ｓ．ｔ．ｅＴｋｗｉ＝１（３）其中，Ｑｉ∈Ｒｋ×ｋ为一个对角正定矩阵，其对角元素为：ｑｊｊ＝‖ｘｉｊ－ｘｉ‖２∑ｘｔ∈Ｎｉ‖ｘｔ－ｘｉ‖２∈（０，１）（４）其中，ｘｉｊ为样本点ｘｉ的第ｊ个邻域点。模型（３）的求解包含两个步骤：（１）通过Ｌａｓｓｏ优化算法求解ｍｉ＝ａｒｇｍｉｎｗｉ‖Ｇｉｗｉ‖２２＋λ‖Ｑｉｗｉ‖１；（２）对ｍｉ进行正则化，即ｗ＊ｉ＝ｍｉｅＴｋｍｉ。显然，对ｍｉ的正则化处理不会改变它分量间的大小关系，但是对不同数据点的ｍｉ，正则化处理可能会改变权向量之间的大小关系。因此，，本文将基于ｍｉ而不是ｗ＊ｉ设计流形离群点的检测方法，对于ｍｉ，本文仍称其为ｘｉ的稀疏重构权向量。通常

【相似文献】