高斯过程回归高效近似方法研究
发布时间：2022-02-10 15:07
高斯过程是一种关于函数的分布,在机器学习领域被广泛应用于回归、分类、降维等。高斯过程回归继承了贝叶斯方法与核方法的优势,但由于时间复杂度过高,难以应用于大规模数据。现有的近似方法通常借助一定数量诱导点,来提取训练样本中的关键信息。在复杂数据上,所需诱导点数量较多,难以有效降低时间复杂度。针对这个问题,本文基于分治思想,提出了一种简单高效的近似模型,称为“重叠局部高斯过程”。方法首先将训练样本集递归划分,构建一棵三叉树,其中兄弟节点所包含的样本存在交集,交集中的样本起到诱导点的作用,可以构建相邻区域间的依赖关系。然后用每个叶结点所包含的样本建立局部高斯过程回归模型,父节点的边缘似然和预测分布可通过组合子节点的计算结果来近似,从而降低计算量。理论分析表明,对于N个训练样本,近似模型训练和预测的时间复杂度均为O（Nt）,其中t与交集的大小相关,通常介于1与2之间。为进一步发挥层次诱导点的作用,本文将诱导点看作近似模型的参数,通过变分推断的方式优化每层诱导点的位置以及对应函数值的分布。优化后的诱导点可以更高效地构建区域间的依赖关系。同时,近似模型的边缘似然以及预测分布依然...
【文章来源】：哈尔滨工业大学黑龙江省211工程院校985工程院校
【文章页数】：55 页
【学位级别】：硕士
【部分图文】：
高斯过程回归的相关模型
图 1-2 PoweEP 框架分治思想，将训练样本划分为 N/B 组，假设在练样本条件独立。可以说，诱导点引入了不同组不同的是，即使给定诱导点，测试点仍会与部分绍三种经典的局部法，其时间复杂度如表 1-2所示列将测试点当作诱导点，假设在给定测试点处函数条件独立。在此基础上，原预测分布可通过组合需对每组样本训练局部的高斯过程回归模型。TM（Bayesian Committee Machine）”，其训练时间为 O(NB + M3)。当不同组之间相关性很强，并且难以成立。另一个缺陷是，由于时间复杂度过高
的模型[11]。如图2-1所示，过简单的模型只能建模少量数据，当 y 不在模型的能力范围内时，p(y|Hi) 很小；过复杂的模型能建模各种数据，但由于概率密度必须归一化，所以在 y 处分配的概率 p(y|Hi) 也较小。因此复杂度最合适的模型 p(y|Hi)最大。2.2高斯过程回归简介高斯过程是一组随机变量的集合，任意有限维随机变量都服从一致的联合高斯分布。1996 年 Williams 和 Rasmussen[41]将高斯过程引入机器学习领域并应用于回归。之后高斯过程在机器学习领域得到了积极的发展，并应用到了主动学习[42]、降维[12]、优化[43]、强化学习[14,44]等。本文主要介绍高斯过程回归。假设每个观测值是利用一个未知函数 f(x) 进行映射，然后受到独立同分布的高斯噪声干扰得到的
本文编号：3619060
【文章来源】：哈尔滨工业大学黑龙江省211工程院校985工程院校
【文章页数】：55 页
【学位级别】：硕士
【部分图文】：
高斯过程回归的相关模型
图 1-2 PoweEP 框架分治思想，将训练样本划分为 N/B 组，假设在练样本条件独立。可以说，诱导点引入了不同组不同的是，即使给定诱导点，测试点仍会与部分绍三种经典的局部法，其时间复杂度如表 1-2所示列将测试点当作诱导点，假设在给定测试点处函数条件独立。在此基础上，原预测分布可通过组合需对每组样本训练局部的高斯过程回归模型。TM（Bayesian Committee Machine）”，其训练时间为 O(NB + M3)。当不同组之间相关性很强，并且难以成立。另一个缺陷是，由于时间复杂度过高
的模型[11]。如图2-1所示，过简单的模型只能建模少量数据，当 y 不在模型的能力范围内时，p(y|Hi) 很小；过复杂的模型能建模各种数据，但由于概率密度必须归一化，所以在 y 处分配的概率 p(y|Hi) 也较小。因此复杂度最合适的模型 p(y|Hi)最大。2.2高斯过程回归简介高斯过程是一组随机变量的集合，任意有限维随机变量都服从一致的联合高斯分布。1996 年 Williams 和 Rasmussen[41]将高斯过程引入机器学习领域并应用于回归。之后高斯过程在机器学习领域得到了积极的发展，并应用到了主动学习[42]、降维[12]、优化[43]、强化学习[14,44]等。本文主要介绍高斯过程回归。假设每个观测值是利用一个未知函数 f(x) 进行映射，然后受到独立同分布的高斯噪声干扰得到的
本文编号：3619060
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3619060.html
