增广信息学习
发布时间：2021-09-22 06:12
传统监督学习通常假设训练数据类别标记恒定、特征信息充分、样本充足。但很多现实的机器学习任务不满足这些假设条件,导致学习效果不尽人意。为此,本文考虑通过引入增广信息（Augmented Information）进行学习。增广信息包括传统静态学习中未考虑的额外信息以及动态学习过程中出现的新信息。本文主要工作如下:1.提出了一种训练集标记增广学习方法GLOCAL。该方法利用标记关系对多标记训练数据中部分缺失的标记进行恢复补全,但无需额外的先验知识来指定标记关系矩阵,而是在优化过程中同时习得全局和局部标记关系。实验验证了本文方法的有效性。2.提出了分别用于静态、动态测试集标记增广学习的方法DMNL和MuENL。DMNL通过最小化多示例包级损失和聚类正则化项,预测静态测试集中的多个新标记;MuENL通过特征和预测值训练新标记检测器并建立鲁棒模型,以检测动态新增的标记并对其建模。实验验证了本文方法的有效性。3.提出了一种多示例特征增广学习方法AMIV-lss。针对数据特征信息不足的学习问题,将额外获取的带噪信息形式化为增广多示例视图（AMIV）作为样本的特征增广。AMIV-lss通过在两个异构视图...
【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：116 页
【学位级别】：博士
【部分图文】：
图２．１?Ｉｍａｇｅ数据集中两个局部组的示例图以及对应的５?ｘ?５标记关系矩阵
第三章测试集标记增广学习??人工数据实验结果??图３．１（ｃ）和（ｄ）分别展示了?ＭＩＭＬ－ＮＣ和ＤＭＮＬ在测试集上的预测结果，其??中虚线表示不同真实标记的分界线。如图所示，ＤＭＮＬ和ＭＩＭＬ－ＮＣ和在己知??标记上的性能是可比的。但是ＭＩＭＬ－ＮＣ把所有的新标记示例都预测成同样的??标记０，而ＤＭＮＬ能够预测多个不同的新标记０和５。??＊４？?ｊ?ｆ?｜－ｒ＇＊??（ａ）?Ｔｒａｉｎｉｎｇ?ｄａｔａ?（ｂ）?Ｔｅｓｔ?ｄａｔａ?（ｃ）?ＭＩＭＬ－ＮＣ?（ｄ）?ＤＭＮＬ??图３．１人工数据实验??在实际应用时，新标记的个数是未知的，所以它的数目＆需要作为参数由??用户手动设置。图３．２展示了?ＤＭＮＬ的性能随不同Ａ值变化的结果。??ｌｌ?ｎ?§＂＂Ｐ?１＂＇Ｐ?１＂＇Ｐ??（ａ）?＾＝１?（ｂ）ｋ＝２?（ｃ）ｋ＝４?（ｄ）?ｋ＝Ｓ??图３．２不同取值的影响??当灸与真实新标记个数相同（即＆二２）时，在己知标记和新标记预测上??ＤＭＮＬ都能取得最好的性能。由此可以通过交叉验证（根据在验证集己知标记上??的性能）来挑选合适的Ａ值。??当／ｔ比真实新标记数大时，一些属于相同新标记的示例可能会被细分到不??同的子类：见图３．２（ｃ）。但是算法不一定总是产生用户指定的＆那么多个新标??记。因为优化过程中同时考虑了包上的错分损失和所有示例的聚类结构。那些??检测到的只有非常少量正示例的新标记（由正交约束产生）会被认为是噪声，而??不是新标记。图３．２中，当＆?＝?４时只产生了?３个新标记，而当Ａ?＝?８时只产生??了?２个新标记。??当ｉｔ?＝?１时
第三章测试集标记增广学习??人工数据实验结果??图３．１（ｃ）和（ｄ）分别展示了?ＭＩＭＬ－ＮＣ和ＤＭＮＬ在测试集上的预测结果，其??中虚线表示不同真实标记的分界线。如图所示，ＤＭＮＬ和ＭＩＭＬ－ＮＣ和在己知??标记上的性能是可比的。但是ＭＩＭＬ－ＮＣ把所有的新标记示例都预测成同样的??标记０，而ＤＭＮＬ能够预测多个不同的新标记０和５。??＊４？?ｊ?ｆ?｜－ｒ＇＊??（ａ）?Ｔｒａｉｎｉｎｇ?ｄａｔａ?（ｂ）?Ｔｅｓｔ?ｄａｔａ?（ｃ）?ＭＩＭＬ－ＮＣ?（ｄ）?ＤＭＮＬ??图３．１人工数据实验??在实际应用时，新标记的个数是未知的，所以它的数目＆需要作为参数由??用户手动设置。图３．２展示了?ＤＭＮＬ的性能随不同Ａ值变化的结果。??ｌｌ?ｎ?§＂＂Ｐ?１＂＇Ｐ?１＂＇Ｐ??（ａ）?＾＝１?（ｂ）ｋ＝２?（ｃ）ｋ＝４?（ｄ）?ｋ＝Ｓ??图３．２不同取值的影响??当灸与真实新标记个数相同（即＆二２）时，在己知标记和新标记预测上??ＤＭＮＬ都能取得最好的性能。由此可以通过交叉验证（根据在验证集己知标记上??的性能）来挑选合适的Ａ值。??当／ｔ比真实新标记数大时，一些属于相同新标记的示例可能会被细分到不??同的子类：见图３．２（ｃ）。但是算法不一定总是产生用户指定的＆那么多个新标??记。因为优化过程中同时考虑了包上的错分损失和所有示例的聚类结构。那些??检测到的只有非常少量正示例的新标记（由正交约束产生）会被认为是噪声，而??不是新标记。图３．２中，当＆?＝?４时只产生了?３个新标记，而当Ａ?＝?８时只产生??了?２个新标记。??当ｉｔ?＝?１时
【参考文献】：
期刊论文
[1]A brief introduction to weakly supervised learning[J]. Zhi-Hua Zhou. National Science Review. 2018(01)
本文编号：3403279
【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：116 页
【学位级别】：博士
【部分图文】：
图２．１?Ｉｍａｇｅ数据集中两个局部组的示例图以及对应的５?ｘ?５标记关系矩阵
第三章测试集标记增广学习??人工数据实验结果??图３．１（ｃ）和（ｄ）分别展示了?ＭＩＭＬ－ＮＣ和ＤＭＮＬ在测试集上的预测结果，其??中虚线表示不同真实标记的分界线。如图所示，ＤＭＮＬ和ＭＩＭＬ－ＮＣ和在己知??标记上的性能是可比的。但是ＭＩＭＬ－ＮＣ把所有的新标记示例都预测成同样的??标记０，而ＤＭＮＬ能够预测多个不同的新标记０和５。??＊４？?ｊ?ｆ?｜－ｒ＇＊??（ａ）?Ｔｒａｉｎｉｎｇ?ｄａｔａ?（ｂ）?Ｔｅｓｔ?ｄａｔａ?（ｃ）?ＭＩＭＬ－ＮＣ?（ｄ）?ＤＭＮＬ??图３．１人工数据实验??在实际应用时，新标记的个数是未知的，所以它的数目＆需要作为参数由??用户手动设置。图３．２展示了?ＤＭＮＬ的性能随不同Ａ值变化的结果。??ｌｌ?ｎ?§＂＂Ｐ?１＂＇Ｐ?１＂＇Ｐ??（ａ）?＾＝１?（ｂ）ｋ＝２?（ｃ）ｋ＝４?（ｄ）?ｋ＝Ｓ??图３．２不同取值的影响??当灸与真实新标记个数相同（即＆二２）时，在己知标记和新标记预测上??ＤＭＮＬ都能取得最好的性能。由此可以通过交叉验证（根据在验证集己知标记上??的性能）来挑选合适的Ａ值。??当／ｔ比真实新标记数大时，一些属于相同新标记的示例可能会被细分到不??同的子类：见图３．２（ｃ）。但是算法不一定总是产生用户指定的＆那么多个新标??记。因为优化过程中同时考虑了包上的错分损失和所有示例的聚类结构。那些??检测到的只有非常少量正示例的新标记（由正交约束产生）会被认为是噪声，而??不是新标记。图３．２中，当＆?＝?４时只产生了?３个新标记，而当Ａ?＝?８时只产生??了?２个新标记。??当ｉｔ?＝?１时
第三章测试集标记增广学习??人工数据实验结果??图３．１（ｃ）和（ｄ）分别展示了?ＭＩＭＬ－ＮＣ和ＤＭＮＬ在测试集上的预测结果，其??中虚线表示不同真实标记的分界线。如图所示，ＤＭＮＬ和ＭＩＭＬ－ＮＣ和在己知??标记上的性能是可比的。但是ＭＩＭＬ－ＮＣ把所有的新标记示例都预测成同样的??标记０，而ＤＭＮＬ能够预测多个不同的新标记０和５。??＊４？?ｊ?ｆ?｜－ｒ＇＊??（ａ）?Ｔｒａｉｎｉｎｇ?ｄａｔａ?（ｂ）?Ｔｅｓｔ?ｄａｔａ?（ｃ）?ＭＩＭＬ－ＮＣ?（ｄ）?ＤＭＮＬ??图３．１人工数据实验??在实际应用时，新标记的个数是未知的，所以它的数目＆需要作为参数由??用户手动设置。图３．２展示了?ＤＭＮＬ的性能随不同Ａ值变化的结果。??ｌｌ?ｎ?§＂＂Ｐ?１＂＇Ｐ?１＂＇Ｐ??（ａ）?＾＝１?（ｂ）ｋ＝２?（ｃ）ｋ＝４?（ｄ）?ｋ＝Ｓ??图３．２不同取值的影响??当灸与真实新标记个数相同（即＆二２）时，在己知标记和新标记预测上??ＤＭＮＬ都能取得最好的性能。由此可以通过交叉验证（根据在验证集己知标记上??的性能）来挑选合适的Ａ值。??当／ｔ比真实新标记数大时，一些属于相同新标记的示例可能会被细分到不??同的子类：见图３．２（ｃ）。但是算法不一定总是产生用户指定的＆那么多个新标??记。因为优化过程中同时考虑了包上的错分损失和所有示例的聚类结构。那些??检测到的只有非常少量正示例的新标记（由正交约束产生）会被认为是噪声，而??不是新标记。图３．２中，当＆?＝?４时只产生了?３个新标记，而当Ａ?＝?８时只产生??了?２个新标记。??当ｉｔ?＝?１时
【参考文献】：
期刊论文
[1]A brief introduction to weakly supervised learning[J]. Zhi-Hua Zhou. National Science Review. 2018(01)
本文编号：3403279
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3403279.html
