监督与半监督多视角最大熵判别的研究

发布时间：2017-06-16 22:12

  本文关键词：监督与半监督多视角最大熵判别的研究，由笔耕文化传播整理发布。

【摘要】：多视角学习是近年来机器学习领域的一个研究热点。在很多现实应用当中,数据也往往具有多个视角,很多理论和应用也证明了多视角学习可以改进学习效果。最大熵判别是基于最大熵和大间隔原理进行判别估计的一个通用框架,它是生成式学习和判别式学习结合的成功典范,因而可以具备概率建模灵活和判别估计分类性能显著的优点。最大熵判别可以覆盖机器学习领域受欢迎的大多数生成式模型。此外,通过一定的假设,它还可以把支持向量机作为一种特例。但是,目前的最大熵判别还只能处理单视角学习的情况无法有效的利用多视角任务数据的多个视角进行更为有效的学习。而本文正是致力于多视角最大熵判别的研究,最后还把多视角最大熵判别从监督学习扩展到了半监督学习。本文提出了五种不同的多视角最大熵判别方法。第一种方法名为多视角最大熵判别(Multi-view maximum entropy discrimination, MVMED),假定了两个视角分类间隔相等,这就意味着从两个视角得到的分类自信度相同,同时还假定了两视角分类器参数与公共间隔变量上的一个联合分布。通过这两个假设,我们设计了MVMED的优化问题模型,并给出了求解定理,还提供了MVMED的一个实例。第二种方法名为灵活的多视角最大熵判别(Flexible multi-view maximum entropy discrimination, FMVMED),它认为MVMED的第二个假定过于严格,代之以对每个视角分类器参数与公共间隔变量假定一个联合分布,并附加一个假定即两个视角公共间隔变量的后验相等。如此以来,FMVMED对于两个视角将会有两个联合分布,体现在模型中就是目标函数中有两个Kullback-Leibler散度,还可以通过一个折衷参数来平衡两个视角的重要性,使得FMVMED变得更加灵活。我们也设计了FMVMED的优化问题模型,并对其进行推导证明,给出一个分两步的近似求解方法：第一步先求解不考虑两个视角公共间隔变量后验相等约束的优化问题；第二步求解出第一步之后再考虑两个视角公共间隔变量后验相等的约束。之后,我们还指出了FMVMED和MVMED, SVM-2K之间的关系。第三种方法名为多核多视角最大熵判别(Multi-kernel maximum entropy discrimination for multi-view learning, MKMED),它首先利用了线性核组合,然后整合进最大熵判别。这是对利用多核学习进行多视角最大熵判别的一个尝试。第四种方法名为基于一致性和互补性原则的多视角最大熵判别(Consensus and complementarity based maximum entropy discrimination for multi-view learning, MED-2C),它在特征级上对多视角学习的一致性进行了建模,首先利用两个投影矩阵把两个视角的特征投影进一个公共子空间,然后使投影后的特征尽可能相近,以此遵守了一致性原则。此外,我们又通过把投影后的特征利用原始的特征进行增广来考虑了互补性。这样,我们就得到一个意义丰富的特征增广表示。然后把这种特征增广表示整合进MED框架并附加一些约束就得到了我们的MED-2C MED-2C充分利用了多视角学习中通常遵守的一致性和互补性两个原则。我们提供了MED-2C的一个实例及其核版本,还给出了一个轮换优化的求解方法。第五种方法名为利用期望拉普拉斯正则化的半监督多视角最大熵判别(Semi-supervised multi-view maximum entropy discrimination with expectation laplacian regularization, SMVMED),它与之前的四种方法有所不同,前面四种方法都是监督多视角最大熵判别方法,而SMVMED是一种半监督多视角最大熵判别方法。它通过整合一个期望拉普拉斯正则化项来利用未标注数据边缘分布的信息提高监督学习性能。我们在多个现实数据集上对提出的四种监督多视角最大熵判别方法和一种半监督多视角最大熵判别方法进行了评估,验证了它们的有效性。
【关键词】：监督学习 半监督学习 最大熵判别 多视角学习 大间隔 核方法
【学位授予单位】：华东师范大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP181
【目录】：

• 摘要6-8
• Abstract8-17
• 第1章 绪论17-25
• 1.1 研究背景和意义17-19
• 1.2 相关工作19-23
• 1.2.1 最大熵判别20
• 1.2.2 多视角学习20-21
• 1.2.3 多核学习21-22
• 1.2.4 流形正则化22-23
• 1.3 本文主要研究内容23
• 1.4 论文组织结构23-25
• 第2章 最大熵判别及多视角学习简介25-36
• 2.1 最大熵判别25-31
• 2.1.1 熵与相对熵(KL散度)25-26
• 2.1.2 凸优化26-28
• 2.1.3 最大熵判别模型28-30
• 2.1.4 最大熵判别模型求解30-31
• 2.2 多视角学习31-35
• 2.2.1 多视角学习的原则32-34
• 2.2.2 多视角学习的方法34-35
• 2.3 本章小结35-36
• 第3章 多视角最大熵判别36-48
• 3.1 多视角最大熵判别36-38
• 3.2 多视角最大熵判别的实例38-43
• 3.2.1 实例化38-41
• 3.2.2 和SVM-2K的关系41-43
• 3.3 实验43-47
• 3.3.1 实验设置43
• 3.3.2 数据集介绍43-44
• 3.3.3 实验结果44-47
• 3.4 本章小结47-48
• 第4章 灵活的多视角最大熵判别48-68
• 4.1 灵活的多视角最大熵判别48-49
• 4.2 灵活的多视角最大熵判别的求解49-52
• 4.3 灵活的多视角最大熵判别的实例52-55
• 4.4 FMVMED和MVMED,SVM-2K之间的关系55-57
• 4.5 实验57-67
• 4.5.1 实验分析58-61
• 4.5.2 FMVMED和MVMED,多平面SVM-2K的实验对比61-64
• 4.5.3 参数ρ的敏感性分析64-67
• 4.6 本章小结67-68
• 第5章 多核多视角最大熵判别68-78
• 5.1 前言68-69
• 5.2 核函数与核组合69-71
• 5.2.1 多核组合方式70
• 5.2.2 多核学习方法的求解70-71
• 5.3 利用多核学习的多视角最大熵判别71-73
• 5.4 实验73-77
• 5.4.1 实验设置73-75
• 5.4.2 实验结果75-77
• 5.5 讨论77
• 5.6 本章小结77-78
• 第6章 基于一致性和互补性原则的多视角最大熵判别78-93
• 6.1 前言78-79
• 6.2 基于一致性和互补性原则的多视角最大熵判别79-81
• 6.3 基于一致性和互补性原则的多视角最大熵判别的实例81-85
• 6.3.1 MED-2C的实例81-84
• 6.3.2 MED-2C实例的求解84-85
• 6.4 实验85-91
• 6.4.1 人工数据集上的实验及结果85-86
• 6.4.2 现实数据集上的实验86-87
• 6.4.3 现实数据集上的实验结果87-91
• 6.5 讨论91
• 6.6 本章小结91-93
• 第7章 半监督多视角最大熵判别93-105
• 7.1 前言93-94
• 7.2 相关工作94-95
• 7.2.1 半监督多视角学习94
• 7.2.2 流形和拉普拉斯正则化94-95
• 7.3 半监督多视角最大熵判别95-100
• 7.3.1 期望拉普拉斯正则化95
• 7.3.2 半监督多视角最大熵判别95-97
• 7.3.3 半监督多视角最大熵判别的实例和核化97-100
• 7.4 实验100-103
• 7.4.1 实验设置100-101
• 7.4.2 半监督多视角与半监督单视角及监督多视角学习的实验比较101-102
• 7.4.3 半监督多视角最大熵判别与其他顶级半监督多视角方法的实验比较102-103
• 7.5 本章小结103-105
• 第8章 总结与展望105-108
• 8.1 本文总结105-107
• 8.1.1 多视角最大熵判别105
• 8.1.2 灵活的多视角最大熵判别105-106
• 8.1.3 多核多视角最大熵判别106
• 8.1.4 基于一致性和互补性的多视角最大熵判别106-107
• 8.1.5 利用期望拉普拉斯正则化的半监督多视角最大熵判别107
• 8.2 未来展望107-108
• 参考文献108-117
• 博士期间的研究成果及发表的论文117-119
• 致谢11

【参考文献】

中国期刊全文数据库 前1条

1 汪洪桥;孙富春;蔡艳宁;陈宁;丁林阁;;多核学习方法[J];自动化学报;2010年08期

  本文关键词：监督与半监督多视角最大熵判别的研究，由笔耕文化传播整理发布。

，

本文编号：456610