Lasso及其改进方法在变量选择中的优劣性研究

发布时间：2021-04-05 13:39

　　在对多元的数据进行分析建模的时候,如果缺少了某一个重要的影响因素,那么建立的模型偏差会比较大,所以我们希望引入更多变量。但是引入的变量有可能会增加设计矩阵的共线性进而影响建模效果,而且如果引入的变量无显著影响则模型的可解释性也会受到影响。Lasso及其改进的方法SCAD,自适应Lasso和弹性网都可以通过收缩估计值来进行变量选择和参数估计。但是在不同的应用背景下,这四种方法进行建模的效果也会有所差异。本文对Lasso及其改进方法之间的优劣性进行了探讨,具体研究分以下四个部分:第一,本文对Lasso回归相关理论进行阐述,并且介绍了Lasso参数的估计方法和实现Lasso回归的算法。第二,对SCAD,自适应Lasso,弹性网的相关理论进行阐述,通过比较它们的惩罚项来分析它们与Lasso之间的关系。第三,在一种线性模型的背景下进行模拟,比较Lasso及其改进方法在建模过程中选择变量的能力。第四,在一种非线性模型的背景下进行模拟,比较Lasso及其改进方法建模的效果,并且引入糖尿病数据进行实例分析来验证模拟的结论。本文通过研究这四种方法在变量选择中的特点,给出了不同应用背景下它们的优劣性比较。... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：50 页

【学位级别】：硕士

【部分图文】：

向前选择算法图

图 3-2 向前梯度算法图当 p 2的时候，如图 3-2,1X 是与Y 最相近的向量，在1X 的方向上前进将eY 作为目标，通过比较可以看出还是1X 与eY 最相近，所以继续在1X 的进 , 这样沿着1X 一直前进直到eY 与2X 最相近的时候改变方向沿着X

图 3-3 最小角回归算法图 p 2的时候，如图 3-3,1X 是与Y 最相近的向量，所以沿着1X 的方向前进1X 和2X 的接近程度相同，也就是eY 处于1X 与2X 的角分线上时改变方向这个角分线前进，当eY 缩小到我们给定的值的时候算法结束，综合前面

【参考文献】：
期刊论文
[1]基于增量学习和Lasso融合的数据可视化模式识别方法[J]. 梁怀新,郝连旺,宋佳霖,郑存芳,洪文学.  高技术通讯. 2018(01)
[2]基于Lasso特征选择的自闭症预测[J]. 常春云.  北京生物医学工程. 2017(06)
[3]多因子量化模型在投资组合中的应用——基于LASSO与Elastic Net的比较研究[J]. 谢合亮,胡迪.  统计与信息论坛. 2017(10)
[4]一种利用Screening加速技巧的Lasso算法[J]. 邱俊洋,潘志松,易磊,陶蔚,张梁梁.  计算机工程与应用. 2018(04)



本文编号：3119741