面向任务的高斯过程隐变量模型扩展研究

发布时间：2020-04-16 17:28

【摘要】：高斯过程作为一种柔性贝叶斯非参数化模型,近年来已被逐渐应用于机器学习等相关领域中,并取得了良好的效果。然而现存的相关模型,如高斯过程回归模型、高斯过程分类模型、高斯过程隐变量模型等,仅简单地将高斯过程先验应用于模型构建中,忽略了机器学习任务自身的特殊性和其包含的各种信息,从而无法满足各种机器学习任务的需求。因此为解决上述问题,本文分别从多任务学习、度量学习、多视图学习、特征相关性学习四个机器学习具体任务角度对高斯过程及高斯过程隐变量模型的扩展方法进行了探索,进一步扩展了高斯过程和高斯过程隐变量模型的应用范围。本文的主要工作包括如下几个方面:(1)提出了一种面向多任务学习的层次高斯过程隐变量模型。与普通的高斯过程多任务学习模型不同,该模型包含两个层次:共享特征学习层和任务相关性构建层。其中,前者用于多任务共享特征的学习;后者用于显式构建和利用任务之间的相关性。基于这种层次结构,模型不仅可以明确的嵌入任务相关性,同时有效避免了交叉协方差矩阵高斯过程多任务学习模型的较高计算及存储复杂度问题。实验结果表明,本文提出的模型具有明显优于其他高斯过程多任务学习模型的性能。(2)提出了一种面向度量学习的高斯过程隐变量模型。在模型构建过程中,本文使用高斯过程对双线性相似度学习模型进行了重新刻画,进而实现了非参数化的度量学习方法。不同于现有的参数化度量学习模型,本文提出的模型有效解决了参数化模型的参数化假设导致的模型易过拟合以及柔性不足等问题。同时该模型也继承了高斯过程模型的非线性学习和不确定性预测等优点。实验结果表明,本文提出的模型具有较好的非线性特征学习和相似性预测能力。(3)提出了一种面向不完整多视图数据聚类的共享高斯过程隐变量模型。该模型针对包含缺失实例的多视图数据聚类问题,通过在共享高斯过程隐变量模型中引入若干对齐的辅助点的方式来弥补缺失数据造成的信息损失并实现组级(goup-level)约束,进而提升隐变量模型在不完整多视图数据学习任务中的性能。实验结果表明,本文提出的模型具有明显优于现有不完整多视图数据聚类模型的性能。同时其可以直接地被扩展并应用于包含多于两个视图的数据学习任务中。(4)提出了一种面向特征相关性学习的高斯过程隐变量模型。为了有效地学习和利用数据原始输入特征的相关性、提升隐变量模型的特征学习能力,本文首先在高斯过程隐变量模型中引入一系列额外的隐变量(特征描述变量)来显式地刻画数据原始特征的相关性,进而构建出一个联合的目标函数并将其用于低维隐变量和特征描述变量的同时学习。该模型不仅可以用于无监督学习中,同时也可以利用数据的标记信息进一步提升模型的特征学习能力。实验结果表明,在无监督和有监督两种学习场景中,本文提出的模型均有优良的特征学习能力,同时能够自动地学习及预测样本输入特征的相关性。此外,本文在稀疏高斯过程求解方面进行了一定的探索,使用变分推理及随机变分推理方法分别对(3)和(4)提出的模型进行了扩展,使其可用于包含大规模数据样本的学习任务中。
【图文】：

面向任务的高斯过程隐变量模型扩展研究

图１．１本文的技术路线图

方差,模型,数据,精度

＃邋ｏｆ邋ｔｒａｉｎｉｎｇ邋ｔａｓｋｓ逡逑图２．３在Ｓｃｈｏｏｌ数据上，各模型在不同任务数下的平均解释方差。逡逑到模型在不同的训练样本下平均解释方差如图２．４所示。可以看出．ｓ在训练集样本较少时，所有逡逑模型的精度都较低。然而，随着样本数的不断增加，，所有的模型的性能均显著提升。且在多数情逡逑况下．，ＨＧＰＭＴ和ｒｅｇｕｌａｒｉｚｅｄ－ＨＧＰＭＴ的精度明显由于其它模型逡逑３３逦Ｉ逦ｋ逦Ｉ逦１逦Ｉ逦Ｉ逦ｉ逦ｉ逦＊逡逑Ｔ邋逦．｝逦—＊ｌ逦逦＾逡逑３６－逡逑３４－逦＾逡逑ｉ：逦：逡逑ｉ２６－逦——＾逡逑°邋２４－逦逦ｆｏｃｕｓｅｄ邋ＭＴ－ＧＰ逡逑—＇—邋Ｋｒｏｎｅｃｋｅｒ邋ＧＰ逡逑２２邋－逦—＊—邋ＧＰＭＴＦＳ逡逑￣４１—邋ＭＴＭＫＬ逡逑２０邋－逦－６—邋ＨＧＰＭＴ逡逑Ｉ逦—Ｔ—邋ｒｅｇｕｌａｒｉｚｅｄ－ＨＧＰＭＴ逡逑１８１逦１逦１逦１逦＊逦＇逦丨逦ｉ逦．丨逦■逡逑１０逦２０逦３０逦４０逦５０逦６０逦７０逦８０逦９０逦１００逦１１０逡逑＃邋ｏｆ邋ｔｒａｉｎｉｎｇ邋ｅｘａｍｐｌｅｓ邋（％）逡逑图２．４在Ｓｃｈｏｏｌ数据上
【学位授予单位】：南京航空航天大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP181

【相似文献】