基于不同罚函数约束偏最小二乘的应用研究

发布时间：2017-07-30 08:24

  本文关键词：基于不同罚函数约束偏最小二乘的应用研究

  更多相关文章： 偏最小二乘回归 正则化 交叉验证 罚函数

【摘要】：随着科技的发展,高维数据的处理问题越来越吸引人们的眼球,在分析高维数据的过程中将会产生各种各样的问题,如变量多样本少的情况下,采用传统的多元统计方法处理数据会出现过度拟合的现象,因此传统的多元统计方法已经不能解决目前所面临的难题.偏最小二乘回归方法虽然能解决变量多样本少的情况,但是它不会对变量进行选择.如果能够找到方法使得一些不重要的变量的系数压缩为零,只挑选出重要的变量,达到变量选择的目的的同时可以使预测误差达到最小,对于高维数据的处理问题来说将具有非常重要的意义.因此,本文主要做了以下研究:第一部分主要介绍了研究背景、研究目的及意义以及国内外对改进偏最小二乘算法的研究.第二部分介绍了多元线性回归模型的原理及其性质,探讨了约束最小二乘的几种罚函数:岭回归罚、LASSO罚、弹性网罚、SCAD罚及其算法,以及参数选择进行了详细的研究,同时介绍了偏最小二乘的建模步骤及主成分个数的选择问题.第三部分通过对偏最小二乘回归进行改进,在其建模的过程中上加入三种不同的罚函数:LASSO罚、弹性网罚、SCAD罚,并对其算法进行研究,同时通过真实的玉米粒的光照数据对三种算法进行比较研究,得出LASSO罚约束偏最小二乘的回归方法优于其它两种罚函数约束偏最小二乘的回归方法.第四部分探讨了基于凸约束的偏最小二乘回归算法,我们引入一个正规化的框架来改进算法,通过求解一个放松的SIMPLS惩罚来优化问题,对正则化的偏最小二乘的步骤及算法进行了研究,最后,以灵敏度和特异性作为评价标准,通过模拟数据来对其进行比较研究,结果表明,凸约束偏最小二乘算法明显优于其它几种方法.
【关键词】：偏最小二乘回归 正则化 交叉验证 罚函数
【学位授予单位】：长沙理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：O212.1
【目录】：

• 摘要5-6
• Abstract6-10
• 第一章 绪论10-15
• 1.1 研究背景及意义10-11
• 1.2 国内外研究现状11-13
• 1.2.1 国外研究现状11-12
• 1.2.2 国内研究现状12-13
• 1.3 本文主要的研究内容13-15
• 第二章 回归分析方法15-33
• 2.1 线性回归分析15-19
• 2.1.1 多元线性回归模型15-16
• 2.1.2 最小二乘估计16-17
• 2.1.3 复共线性问题17-19
• 2.2 罚约束最小二乘回归19-28
• 2.2.1 岭回归罚19-21
• 2.2.2 LASSO罚21-23
• 2.2.3 SCAD罚23-24
• 2.2.4 弹性网罚24-28
• 2.3 偏最小二乘回归28-32
• 2.3.1 偏最小二乘回归的计算方法28-30
• 2.3.2 交叉验证30-32
• 2.4 小结32-33
• 第三章 罚约束偏最小二乘回归算法及其实证分析33-44
• 3.1 奇异值分解33
• 3.2 偏最小二乘奇异值分解33-34
• 3.3 罚约束偏最小二乘回归34-38
• 3.3.1 LASSO罚约束偏最小二乘算法34-35
• 3.3.2 弹性网罚约束偏最小二乘算法35-36
• 3.3.3 SCAD罚约束偏最小二乘算法36-38
• 3.4 实证分析38-43
• 3.4.1 实验数据38-39
• 3.4.2 实证结果分析39-43
• 3.5 小结43-44
• 第四章 基于凸约束的偏最小二乘回归算法及其模拟分析44-55
• 4.1 凸约束偏最小二乘回归的优化问题44-46
• 4.2 凸约束偏最小二乘回归的解46-48
• 4.3 凸约束偏最小二乘回归算法48-50
• 4.4 模拟研究50-54
• 4.4.1 模拟数据50-51
• 4.4.2 模拟结果分析51-54
• 4.5 小结54-55
• 结论55-57
• 参考文献57-61
• 致谢61-62
• 附录 攻读硕士学位期间所发表的学术论文目录62

【相似文献】

中国期刊全文数据库 前10条

1 胡煜;;偏最小二乘方法和二次判别分析方法应用于基因芯片数据分析[J];鞍山师范学院学报;2007年04期

2 满瑞林,赵新那;论偏最小二乘校正方法的稳定性[J];中南工业大学学报;1997年06期

3 宫清,满瑞林,赵新娜;偏最小二乘校正用于X射线荧光光谱法同时测定不同价态的硫[J];光谱学与光谱分析;1991年04期

4 叶明;张磊;;偏最小二乘通径模型在贸易发展指数中的应用[J];统计与信息论坛;2010年09期

5 金勇进,梁燕;偏最小二乘(PartialLeast Square)方法的拟合指标及其在满意度研究中的应用[J];数理统计与管理;2005年02期

6 赵璐;匡建超;罗鑫;王众;金婷;;基于偏最小二乘支持向量机的图书馆效益评价研究[J];科技管理研究;2010年02期

7 ;第六届偏最小二乘及相关方法国际大会征稿通知[J];系统工程学报;2008年05期

8 殷弘;汪宝彬;;惩罚的偏最小二乘(英文)[J];数学杂志;2013年01期

9 陈高波;;基于最小一乘的单因变量偏最小二乘算法[J];武汉工业学院学报;2006年02期

10 杨慧中;陈定三;;局部惩罚加权核偏最小二乘算法及其应用[J];控制工程;2011年06期

中国重要会议论文全文数据库 前4条

1 李科;;用偏最小二乘(PLS)回归法研究数据相关性[A];全国第六届分子振动光谱学术报告会文集[C];1990年

2 刘名扬;白丽飞;张寒琦;任玉林;王洪艳;;偏最小二乘-近红外透射光谱法用于秦皮中多组分测定的研究[A];中国化学会第二十五届学术年会论文摘要集（下册）[C];2006年

3 景明;蔡文生;邵学广;;Multiblock偏最小二乘方法的新应用[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

4 李大鹏;王惠文;;偏最小二乘Iogistic回归在鄱阳湖洪涝灾害预测中的应用[A];2003中国现场统计研究会第十一届学术年会论文集（上）[C];2003年

中国博士学位论文全文数据库 前1条

1 黄新;基于化学数据的若干统计学习新方法研究[D];中南大学;2013年

中国硕士学位论文全文数据库 前10条

1 杨会;基于偏最小二乘特征的鸽子运动转向解码研究[D];郑州大学;2016年

2 杜晓慧;基于不同罚函数约束偏最小二乘的应用研究[D];长沙理工大学;2015年

3 李洪强;基于核偏最小二乘的故障诊断方法研究[D];东北大学;2009年

4 罗纯;基于成分数据若干分析方法的研究[D];中南大学;2011年

5 夏丽莎;基于偏最小二乘的武汉城市圈经济研究[D];华中科技大学;2010年

6 张艳粉;基于偏最小二乘的BP网络模型及其应用[D];重庆大学;2007年

7 裴振中;偏最小二乘—最大熵法在石油勘探风险评价中的应用[D];成都理工大学;2005年

8 陈海波;市场经济下天然气价格预测研究——偏最小二乘神经网络模型（PLSNN）应用[D];成都理工大学;2004年

9 周琳;基于非线性偏最小二乘的特征提取方法研究[D];南京理工大学;2011年

10 李亚琼;基于优化的偏最小二乘—判别分析和核磁共振波谱的肺癌血清代谢组学研究[D];华中师范大学;2014年

，

本文编号：593315