基于多尺度核的分布式正则化回归学习算法研究

发布时间：2020-05-10 23:25

【摘要】：本文对再生核Hilbert空间中的最小二乘正则化回归学习算法做出改进,提出了基于多尺度核的分布式正则化回归学习算法。在回归问题中,对于一些分布不平坦且样本规模较大的复杂数据,本文基于多核方法和分布式学习方法,将样本数据集随机划分成多个互斥的样本子集,着重考虑到每个子集中数据波动程度不同,因而在每个子集上采用不同系数线性组合成的多尺度高斯核函数,并由这多个不同尺度的高斯核所生成的再生核Hilbert空间的和空间作为假设空间,通过最小二乘正则化回归算法同时独立地进行学习,从而得到一个局部估计,最终将所有局部估计加权合成得到该样本的总体估计。不同尺度大小的高斯核所组合成的多核方法可以很好地结合各个单核的特性,尽可能地拟合复杂数据中不同的波动程度和变化趋势;基于分而治之思想的分布式学习方法,可以降低核矩阵求逆运算所需的运行时间和存储成本,有效地提高算法的运行效率;在不同样本子集上设置不同的多尺度核函数组合系数,使其在每个子集上进行动态变化,可以让多尺度核函数具有一定的自适应能力。本文通过两个模拟数据集和四个真实数据集对所提出的改进算法和已有的三种算法的表现性能展开实验分析。实验结果表明,本文所提出的改进算法可以在较短的时间内达到较佳的拟合效果,不仅能够保证较优的拟合能力,也可以成功地降低算法正常实现所需的运行成本。
【图文】：

方法的算法在面对样本规模较大的数据时，可以成功地降低算法运行时间和计算逡逑存储成本。目前己有一些学者从学习理论的误差分析这一角度证明了基于分布式逡逑学习方法的算法具有较优的逼近性和较佳的学习率，并且在很多实际应用中均验逡逑证了该算法在降低计算成本的同时，优良的拟合性能依旧可以得到保证。逡逑基于分布式学习方法的算法具体包含以下三个步骤：逡逑（丨）将数据样本集２邋：＝邋｛（＾％）｝卩＝１随机划分成ｍ个互斥的样本子集仁诰１；逡逑（２）在每个样本子集＆上分配一个相同参数的基学习器，以此进行同步独立逡逑地学习，从而学习到一个局部估计／Ｚｓ；逡逑（３）将所学习到的ｍ个局部估计传送到一个中心处理器，将其进行加权合成，逡逑得到一个总体估计／ｚ，以此作为整个数据样本集所学习到的函数。逡逑本文通过示意图更为直观形象地展示了分布式学习方法的步骤流程，具体见逡逑下图２－１所示。逡逑

（１）将数据样本集ｚ邋：＝邋｛0ｉ＞ｙｉ）｝ｆ＝１随机划分成ｍ个互斥的样本子集逡逑（２）在每个样本子集＆上，采用不同的一组系数所线性组合而成的多尺度逡逑核函数，并在由这多个不同单核所生成的再生核Ｈｉｌｂｅｒｔ空间的和空间逡逑；＾。这一假设空间中，通过正则化回归学习算法，同时独立地进行学习，逡逑从而学习到一个局部估计／ＺｓＸ。；逡逑（３）将所学习到的ｍ个局部估计传送到一个中心处理器，将其进行加权合成，，逡逑得到一个总体估计／ｚ＾，以此作为整个数据样本集所学习到的函数。逡逑本文通过示意图更为直观形象地展示了和空间；＾。中ＤＬＭＫ－ＬＳＲＲ学习算逡逑法的步骤流程，具体见下图３－１所示。逡逑￣Ｌ逡逑
【学位授予单位】：浙江工商大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP181;C81

【相似文献】

相关期刊论文 前10条

1 李彦;邓承志;汪胜前;朱慧琦;;基于简单L_(1/2)稀疏正则化的高光谱混合像元分解[J];江西科技师范大学学报;2016年06期

2 陈晓;张磊;郭曼;葛坤朋;王彦国;;大地电磁测深和重力数据同步正则化联合反演[J];科学技术与工程;2016年08期

3 田福志;洪祖江;张纯;宋固全;;L_(1/2)范数正则化模型修正方法在结构损伤识别中的应用[J];南昌大学学报(理科版);2016年02期

4 徐玉聪;赵宁;秦策;王锐;张召彬;;大定源瞬变电磁一维自适应正则化反演[J];地质与勘探;2015年02期

5 周锋;曾雪迎;杨力华;;一种基于正则化的稀疏表示方法[J];数学学报(中文版);2015年04期

6 覃庆炎;罗威;周洪生;;中心回线瞬变电磁自适应正则化反演[J];科学技术与工程;2014年13期

7 刘国金;曾孝平;刘刈;;图上自适应正则化的图像去噪[J];重庆大学学报;2012年10期

8 贺春东;张永斌;毕传兴;陈心昭;许滨;;分部优化正则化在近场声全息技术中的应用[J];声学学报;2011年04期

9 沈云中,刘大杰;正则化解的单位权方差无偏估计公式[J];武汉大学学报(信息科学版);2002年06期

10 阮晓青,赵冰;地震波走时问题的正则化解[J];工程数学学报;2002年02期

相关会议论文 前10条

1 毛玉明;郭杏林;吕洪彬;;动载荷反演问题的正则化求解[A];第18届全国结构工程学术会议论文集第Ⅰ册[C];2009年

2 汪驰升;丁晓利;单新建;;大地测量数据地震滑动分布反演的非均匀正则化研究[A];2015中国地球科学联合学术年会论文集（二十四）——专题56空间大地测量与地壳动力学[C];2015年

3 王彦飞;;地球物理数值反演问题的最优化和正则化理论与方法[A];中国地球物理学会第二十七届年会论文集[C];2011年

4 傅向华;王志强;赵良辉;杜文峰;;基于拉普拉斯流形正则化的半监督图像检索[A];第四届和谐人机环境联合学术会议论文集[C];2008年

5 潘天成;吕中荣;汪利;;基于稀疏正则化的内部点热源识别[A];2018年全国固体力学学术会议摘要集（下）[C];2018年

6 解凯;吕妍昱;;一种高效的正则化参数估计算法[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（上册）[C];2008年

7 张意;张卫华;陈虎;周激流;;基于分数阶自适应正则化的统计迭代重建方法[A];第十四届中国体视学与图像分析学术会议论文集[C];2015年

8 张煜东;吴乐南;;基于CTLS与各向异性正则化的光流估计方法[A];第十四届全国图象图形学学术会议论文集[C];2008年

9 曹艳平;季湘樱;冯西桥;;压痕实验确定黏弹性材料的正则化松弛模量[A];中国力学学会学术大会'2009论文摘要集[C];2009年

10 刘晓芳;徐文龙;陈永利;;基于非二次正则化的并行磁共振图像保边性重建[A];浙江生物医学工程学会第九届年会论文汇编[C];2011年

相关博士学位论文 前10条

1 丁转莲;基于图正则化的复杂网络社团检测研究[D];安徽大学;2018年

2 王梅;正则化路径上的支持向量机模型组合[D];天津大学;2013年

3 吴磊;(?)_p正则化问题的算法研究[D];湖南大学;2013年

4 薛晖;分类器设计中的正则化技术研究[D];南京航空航天大学;2008年

5 徐晓琳;面向大规模数据分析与分类的正则化回归算法[D];安徽大学;2017年

6 王文娟;地球物理反演中病态矩阵方程正则化解算方法研究[D];成都理工大学;2010年

7 王振杰;大地测量中不适定问题的正则化解法研究[D];中国科学院研究生院（测量与地球物理研究所）;2003年

8 巴拉卡，雅各布Maiseli（Baraka Jacob Maiseli）;基于正则化的非线性扩散模型的超分辨率方法[D];哈尔滨工业大学;2015年

9 刘小兰;基于图和熵正则化的半监督分类算法[D];华南理工大学;2011年

10 刘兵;基于聚类与流形正则化的分类方法研究[D];中国矿业大学;2013年

相关硕士学位论文 前10条

1 李伟凯;基于正则化框架的脑网络构建与应用研究[D];重庆交通大学;2018年

2 孙莺萁;核方法近似正则化路径及其在油井产油量预测上的应用[D];东北石油大学;2018年

3 韩乐;噪声污染数据的正则化相位恢复研究[D];天津师范大学;2018年

4 姜荣建;Lp正则非线性规划问题的相关算法研究[D];清华大学;2017年

5 周策;基于空间正则化的选择性目标跟踪方法[D];天津大学;2018年

6 王洁微;基于多尺度核的分布式正则化回归学习算法研究[D];浙江工商大学;2018年

7 郭善亮;自正则化随机和的鞍点近似[D];苏州大学;2017年

8 孙琦;基于正则化滤波和奇异值分解的条纹模式方向估计和滤波方法研究[D];山东大学;2018年

9 董昊;鲁棒自适应图正则化聚类算法[D];辽宁师范大学;2018年

10 翟冬灵;基于图正则化降维的人脸识别算法研究[D];扬州大学;2017年

本文编号：2658058