高维线性回归算法比较研究

发布时间：2021-12-11 22:58

　　在大数据时代,高维数据广泛呈现在生物信息,金融经济和图像处理等领域,其共同特征之一是预测变量具有稀疏性.选择最相关的预测变量是高维数据分析的主要研究内容之一,具有极其重要的应用价值.为此,针对压缩感知和变量选择问题的高维线性回归算法成为学者们研究的焦点,许多快速、有效的算法被相继提出,为解决压缩感知和变量选择问题提供了诸多帮助,值得我们深入探讨和仔细研究.本文从解决压缩感知,变量选择问题中的不同模型角度,对目前流行的高维线性回归算法进行比较研究.在对现存算法特点进行总结的前提下,深入地研究算法的精度和效率等重要特性.依托现存的牛顿算法,在此基础上细化了牛顿算法的框架和参数选取,使其达到更好的数值效果,同时提出了未知稀疏度下的自适应牛顿算法,并比较了基于解的差异原则,残量差异原则和HBIC对稀疏度选取的效果.大量的数值实验表明,本文细化的牛顿算法在精度和速度上均优于目前在压缩感知和变量选择领域公认的算法,同时,本文提出的自适应牛顿算法在精度上也超过了该领域公认的算法.在此基础上,我们开发了一个MATLAB软件包. 

【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】：51 页

【学位级别】：硕士

【部分图文】：

四种非凸惩罚函数图像(左)和其对应的阅值函数(右)

图４．１?展示了?稀疏度Ｓ对ｓｎａｆｉｘ，?ｓｎａａｒｍ，?ＳＤＡＲ，?ＭＣＰ，?ＦｏＢａ，?ＳＰ，?ＨＴＰ，?ＧｒＬＡＲＳ完全准确恢复支撑集Ｙ概率的影响．数据集设置为：（ｎ?＝?５１０００，Ｓ?＝?１０?：?５０?：?３６０，ｃｒ?＝?ｌ，ｐ?＝?０．７，尺＝１０）．其中?１０?：?５０?：?３６０?表Ｓ以５０为间隔从１０增加到３６０．我们可以看到随着稀疏度Ｓ的增加，所有现都在变差．然而，ｓｎａｆｉｘ和ＳＤＡＲ随着稀疏度的增加普遍比其他方，当Ｓ?＝?２６０时，这两种算法的表现远好于其它算法．从图４．２中可以看出，言，ｓｎａｆｉｘ和ＳＤＡＲ大多数时候都是最快的．??３１??

图４．１?展示了?稀疏度Ｓ对ｓｎａｆｉｘ，?ｓｎａａｒｍ，?ＳＤＡＲ，?ＭＣＰ，?ＦｏＢａ，?ＳＰ，?ＨＴＰ，?ＧｒＬＡＲＳ完全准确恢复支撑集Ｙ概率的影响．数据集设置为：（ｎ?＝?５１０００，Ｓ?＝?１０?：?５０?：?３６０，ｃｒ?＝?ｌ，ｐ?＝?０．７，尺＝１０）．其中?１０?：?５０?：?３６０?表Ｓ以５０为间隔从１０增加到３６０．我们可以看到随着稀疏度Ｓ的增加，所有现都在变差．然而，ｓｎａｆｉｘ和ＳＤＡＲ随着稀疏度的增加普遍比其他方，当Ｓ?＝?２６０时，这两种算法的表现远好于其它算法．从图４．２中可以看出，言，ｓｎａｆｉｘ和ＳＤＡＲ大多数时候都是最快的．??３１??

【参考文献】：
期刊论文
[1]高维模型选择方法综述[J]. 李根,邹国华,张新雨.  数理统计与管理. 2012(04)



本文编号：3535550