基于自训练的回归算法

发布时间：2020-02-29 20:36

【摘要】：由于具有预测功能,回归算法是机器学习等领域中常用到的算法,通常是对训练样本的自变量和因变量建立回归模型,然后利用回归模型将测试样本的自变量映射到因变量,但是这个过程没有充分利用测试集中样本的信息,特别是在训练集中样本较少的时候,不能对回归模型进行充分的训练,无法得到令人满意的预测结果。本文将自训练的思想引入到回归算法中,将多个回归算法预测得到的置信度高的样本加入到训练集中重新进行回归,在公开数据集上得到了比传统回归算法更好的预测结果,提高了回归准确率。
【图文】：

流程图,回归算法,流程,高斯过程

充分的训练，对测试样本的因变量预测更加准确。1基于自训练的回归算法本文提出的自训练回归算法亮点是加入了自训练的过程，下面将针对这一自训练反馈过程进行阐述:本文利用两个回归算法:双高斯过程回归和LS－SVM对训练样本同时进行训练，将训练好的回归模型分别用于测试样本的预测中，对预测得到的样本进行置信度计算，将两者预测得到的置信度都高的测试样本加入到训练集中重新进行回归模型的训练，然后用新得到的回归模型重新对测试样本进行预测。下面就双高斯过程回归、libSVM和置信度的确定方式进行说明。图1传统的回归算法流程图2本文的回归算法流程1.1双高斯过程回归双高斯过程回归是对经典高斯过程回归的改进，传统的高斯过程回归算法由Ｒasmussen提出，高斯过程回归和贝叶斯线性回归类似，不同之处在于高斯过程回归用核函数替代了贝叶斯回归中的基函数，使得一些难以表示出基函数的模型仍可以用核函数继续进行回归过程，应用广泛。高斯过程是一个随机变量的集合，这些随机变量服从联合高斯分布。在高斯过程回归中，这些随机变量表示自变量函数的值。高斯过程回归假设自变量函数分布的均值为0，他们之间的相关性则用协方差函数表示，常用的协方差函数如下:Ki，j=K(Xi，Xj)=θ0exp－12∑D1d=1ηd(xi，d－xj，d){}2+θ1(1)式中:Xi为第i个自变量。i=1，2，…，N;Xj为第j个自变量。j=1，2，…，N;θ0、ηd，d=1，2，…，D1和θ1为高斯核函数中的超参数;xi，d为Xi中第d维上的数值;xj，d为Xj中第d维上的数值。在上述的协方差函数中，若两个变量越接近或者越相似，则两者的相关性越大，否则，相关性越校在定义了协方差函数?

流程图,回归算法,流程,高斯过程

镜囊虮淞吭げ飧闱幼既贰?1基于自训练的回归算法本文提出的自训练回归算法亮点是加入了自训练的过程，下面将针对这一自训练反馈过程进行阐述:本文利用两个回归算法:双高斯过程回归和LS－SVM对训练样本同时进行训练，将训练好的回归模型分别用于测试样本的预测中，对预测得到的样本进行置信度计算，，将两者预测得到的置信度都高的测试样本加入到训练集中重新进行回归模型的训练，然后用新得到的回归模型重新对测试样本进行预测。下面就双高斯过程回归、libSVM和置信度的确定方式进行说明。图1传统的回归算法流程图2本文的回归算法流程1.1双高斯过程回归双高斯过程回归是对经典高斯过程回归的改进，传统的高斯过程回归算法由Ｒasmussen提出，高斯过程回归和贝叶斯线性回归类似，不同之处在于高斯过程回归用核函数替代了贝叶斯回归中的基函数，使得一些难以表示出基函数的模型仍可以用核函数继续进行回归过程，应用广泛。高斯过程是一个随机变量的集合，这些随机变量服从联合高斯分布。在高斯过程回归中，这些随机变量表示自变量函数的值。高斯过程回归假设自变量函数分布的均值为0，他们之间的相关性则用协方差函数表示，常用的协方差函数如下:Ki，j=K(Xi，Xj)=θ0exp－12∑D1d=1ηd(xi，d－xj，d){}2+θ1(1)式中:Xi为第i个自变量。i=1，2，…，N;Xj为第j个自变量。j=1，2，…，N;θ0、ηd，d=1，2，…，D1和θ1为高斯核函数中的超参数;xi，d为Xi中第d维上的数值;xj，d为Xj中第d维上的数值。在上述的协方差函数中，若两个变量越接近或者越相似，则两者的相关性越大，否则，相关性越校在定义了协方差函数后，我们的目的是利用训练

【相似文献】