核正则化回归学习和向量排序的收敛性分析及应用

发布时间：2020-07-27 22:06

【摘要】：在经济社会问题中,许多实际任务都可以转化为回归问题,比如,市场趋势预测、人口预测、经济发展因素分析、股价预测等。排序学习在实际中也有许多应用的例子,比如,作为一个有力工具,排序学习在信息检索、质量控制、生存分析、计算生物学等方面有着许多实际应用价值。在回归分析中,经常遇到非线性问题,此时常用的回归方法,如多元线性回归、多元逐步回归、线性分位数回归等方法,就不能对数据进行有效拟合和预测了。核函数的表示方法,通过定义一个核函数作为非线性变换,将输入空间的非线性数据映射到高维的特征空间,然后在这个线性的特征空间中构造回归函数,而且只需要计算数据在特征空间的内积就可以表示数据的特征。因此利用核函数技术,不失为解决非线性回归问题的一种有效方法。在进行回归分析时,基于经验风险最小化准则的回归算法属于不适定问题,在样本量较小时容易出现“过拟合现象”,虽然对训练数据有较高的拟合度,但是对未知数据的预测能力差,模型的复杂度过大。为此,Tikhonov提出了正则化的方法,在期望风险后面加上表示模型复杂度的正则化项,在这种结构风险最小化准则下进行回归学习。核正则化方法同时结合核函数技术和正则化方法的优点,是学习理论当前采用的一种新方法。本文基于核正则化方法,在最小平方损失下,对回归学习和向量排序学习的收敛速度进行研究。对算法的误差上界进行量化分析,以此来衡量根据训练样本学习到的算法对未知数据的预测能力,探讨算法的收敛速度是否受到再生核空间的凸性、逼近性能和容量的影响,这是学习理论中的一个焦点问题。本文的主要研究内容和创新点体现在以下三个方面:1.近年来已经有许多文献对再生核Hilbert空间的正则化回归学习算法的收敛速度进行了研究。但是由于Hilbert空间的结构简单所以有局限性,实际上许多数据不满足由Hilbert空间的内积诱导的距离。因此有必要扩大假设函数空间,Banach空间就是一个合理的选择。对再生核Banach空间的正则化回归学习算法的收敛性进行分析,这是一个新的研究领域,一个关键的理论问题是Banach空间的几何性质如何影响收敛速度。论文的第三章在Banach空间B具有q-一致凸性(其中ql),有一致连续的再生核等假定下,对再生核Banach空间的正则回归学习算法的收敛速度进行了研究,分别推导出了以期望均值和经验均值表示的学习速度,结果表明Banach空间的一致凸性会影响核正则化回归算法的学习速度,改进了现有文献中得到的学习速度。之后给出符合定理条件的再生核Banach空间的例子,说明了定理条件的合理性。2.对于Banach空间无凸性要求的情况(= l),目前尚未见到对此时再生核Banach空间的正则化回归算法的收敛性进行分析,论文的第四章展开了这方面的研究,以期望均值的形式推导出了该核正则化回归算法的泛化误差的概率上界。研究结果表明此时正则化回归算法的期望误差上界与样本量、再生核Banach空间的复杂度、逼近误差、输出空间Y的取值上界M、再生核等有关。3.排序学习可以看作是特殊的回归问题,但是也有它的不同之处。在排序问题中,通过学习一个实值函数用以对样本进行打分,但是得分本身并不重要,关键在于通过这些得分对研究对象进行相对排序。近年来,将排序理论和机器学习结合起来,形成了核正则化排序方法。将一般的排序问题扩展为向量排序问题,这是一个新的研究内容。在论文第五章中,利用假设空间的覆盖数、再生性等特点,对最小平方损失下再生核Hilbert空间的正则化向量排序算法的收敛速度进行了定量研究,利用Gateaux导数给出了最优解和未知分布之间的定性关系,从数量上分析了解的稳定性问题。最后,根据再生核Hilbert空间的逼近性能和容量,推导出了向量排序学习算法的收敛速度。此外,蒙特卡洛数值模拟和经济预测的实证分析结果都表明,核正则化回归方法是处理非线性回归问题的一个有效途径。
【学位授予单位】：浙江工商大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：F224
【图文】：

逦４逦ｔ逦１逦３逦ｉ逡逑图６－１邋；Ｌ邋＝邋０．０１，９＝１时的拟合曲线对比图逦图６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２时的拟合曲线对比图逡逑逦？逦，逦１逦１一－＾＝Ｉ＝＝ｌ逦ｆ逦逦逦逦逦逦—￣逦．．．－－－了逡逑”■——邋———理邋＼逦逦逦逦逦逦逦逦逦逦逦逦逦逦—－邋邋邋■栜！■逡逑１４邋■逦１４邋‘逦ｒ—逡逑ｔ邋ｊ邋－逦＇，逦ｔｉ邋＜逦＾逡逑ｍ邋－逦１逦＼逦－逦ｍ邋■逦ｆ邋％逦－逡逑０４－逦ｊ逦＼逦．逦０４邋？逦，逦＼逦？逡逑ｍ－逦ｉ：逦＼逦你ｓ＇逦／逦＼逦－逡逑———／－－”邋…—一？：户逡逑＾３％逦－２逦－１逦０逦１２逦３逦ｆ逦０逦１逦ｔ逦３逡逑图６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３时的拟合曲线对比图邋图６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４时的拟合曲线对比图逡逑从以上四个对比图可以发现，当Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４时，利用核正则化方法逡逑得到的四条回归曲线对理论曲线的拟合效果都非常好。而高斯核函数从表达式本逡逑身来看

逦４逦ｔ逦１逦３逦ｉ逡逑图６－１邋；Ｌ邋＝邋０．０１，９＝１时的拟合曲线对比图逦图６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２时的拟合曲线对比图逡逑逦？逦，逦１逦１一－＾＝Ｉ＝＝ｌ逦ｆ逦逦逦逦逦逦—￣逦．．．－－－了逡逑”■——邋———理邋＼逦逦逦逦逦逦逦逦逦逦逦逦逦逦—－邋邋邋■栜！■逡逑１４邋■逦１４邋‘逦ｒ—逡逑ｔ邋ｊ邋－逦＇，逦ｔｉ邋＜逦＾逡逑ｍ邋－逦１逦＼逦－逦ｍ邋■逦ｆ邋％逦－逡逑０４－逦ｊ逦＼逦．逦０４邋？逦，逦＼逦？逡逑ｍ－逦ｉ：逦＼逦你ｓ＇逦／逦＼逦－逡逑———／－－”邋…—一？：户逡逑＾３％逦－２逦－１逦０逦１２逦３逦ｆ逦０逦１逦ｔ逦３逡逑图６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３时的拟合曲线对比图邋图６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４时的拟合曲线对比图逡逑从以上四个对比图可以发现，当Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４时，利用核正则化方法逡逑得到的四条回归曲线对理论曲线的拟合效果都非常好。而高斯核函数从表达式本逡逑身来看

逦４逦ｔ逦１逦３逦ｉ逡逑图６－１邋；Ｌ邋＝邋０．０１，９＝１时的拟合曲线对比图逦图６－２邋；Ｌ邋＝邋０．０１，ｇ邋＝邋２时的拟合曲线对比图逡逑逦？逦，逦１逦１一－＾＝Ｉ＝＝ｌ逦ｆ逦逦逦逦逦逦—￣逦．．．－－－了逡逑”■——邋———理邋＼逦逦逦逦逦逦逦逦逦逦逦逦逦逦—－邋邋邋■栜！■逡逑１４邋■逦１４邋‘逦ｒ—逡逑ｔ邋ｊ邋－逦＇，逦ｔｉ邋＜逦＾逡逑ｍ邋－逦１逦＼逦－逦ｍ邋■逦ｆ邋％逦－逡逑０４－逦ｊ逦＼逦．逦０４邋？逦，逦＼逦？逡逑ｍ－逦ｉ：逦＼逦你ｓ＇逦／逦＼逦－逡逑———／－－”邋…—一？：户逡逑＾３％逦－２逦－１逦０逦１２逦３逦ｆ逦０逦１逦ｔ逦３逡逑图６－３邋；ｌ邋＝邋０．０１，ｇ邋＝邋３时的拟合曲线对比图邋图６－４邋Ａ邋＝邋０．０１，ｇ邋＝邋４时的拟合曲线对比图逡逑从以上四个对比图可以发现，当Ａ邋＝邋０．０１，邋９邋＝邋１，２，３，４时，利用核正则化方法逡逑得到的四条回归曲线对理论曲线的拟合效果都非常好。而高斯核函数从表达式本逡逑身来看

【参考文献】

相关期刊论文 前8条

1 陈贺;;基于多元线性回归的山东省经济发展的影响因素分析[J];金融教育研究;2016年05期

2 韩绍庭;周雨欣;;多元线性回归与ARIMA在中国人口预测中的比较研究[J];中国管理信息化;2014年22期

3 宋淑丽;齐伟娜;;基于多元线性回归的农村剩余劳动力转移研究——以黑龙江省为例[J];农业技术经济;2014年04期

4 任慧;赵晨辰;白帏绮;;基于多元线性回归分析方法的新股上市首日破发影响因素实证研究[J];内蒙古工业大学学报(自然科学版);2013年01期

5 李菁;向玲;;财政农业支出对农村劳动力转移的动态效应研究:1978—2011年[J];经济问题探索;2013年02期

6 张仁寿;任晓怡;;基于RF的中国贸易收支非线性回归模型研究[J];广州大学学报(自然科学版);2012年04期

7 李磊;闫蕊;潘慧玲;;上海市工业废水排放量的多元非线性回归预测[J];数学的实践与认识;2011年21期

8 徐宗本,张茁生;L~p空间的另一组特征不等式[J];数学学报;1994年04期

本文编号：2772449