Lasso类哭量选择方法综述

发布时间：2022-07-03 17:30

　　变量选择是建模过程中的重要环节之一,选择合适的变量可以极大的简化模型复杂度,提高模型的可解释性。本文概括了 Lasso类惩罚方法,包括Lasso,Adaptive Lasso 和 SCAD 等衍生方法,Elastics Net,Group Lasso,Fused Lasso,Graph Lasso等拓展方法,着重比较它们的统计性质和优缺点,总结相关算法并归纳各方法的相关应用情况。文章最后简要列明其他变量选择方法并讨论最新的发展方向和所面临的挑战。 

【文章页数】：56 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
1 绪论
    1.1 选题背景及意义
    1.2 研究概况
    1.3 文章结构
2 理论基础
    2.1 惩罚函数的概述
    2.2 均方误差、预测误差和偏差-方差权衡
    2.3 变量选择一致性及符号一致性
    2.4 渐近正态分布
    2.5 稀疏模型与神谕性
    2.6 交叉验证法
    2.7 高维及超高维数据
    2.8 软阈值函数和硬阈值函数
3 Lasso惩罚
    3.1 Lasso惩罚的定义
    3.2 Lasso的解
        3.2.1 Dual Algorithm
        3.2.2 LARS算法
        3.2.3 Coordinate Descent算法
        3.2.4 正交情况下的Lasso的解
        3.2.5 Lasso惩罚的解析路径
    3.3 Lasso惩罚的性质
        3.3.1 完全线性相关下Lasso解的不唯一性
        3.3.2 Lasso惩罚的变量选择一致性
        3.3.3 Lasso估计量的相合性
        3.3.4 Lasso估计量的渐近分布
4 Lasso惩罚的衍生型
    4.1 逐步法
    4.2 权重法
    4.3 非凸惩罚
        4.3.1 SCAD
        4.3.2 MCP
        4.3.3 图像对比
    4.4 数值模拟
5 Lasso惩罚的拓展型
    5.1 Elastic Net惩罚
        5.1.1 Ridge惩罚
        5.1.2 Naive Elastic Net惩罚
        5.1.3 Elastic Net
    5.2 Group Lasso
    5.3 Fused Lasso
    5.4 Graph Lasso
6 惩罚函数的其他选择
    6.1 Dantzing selector及其衍生方法
    6.2 SIS及其衍生方法
7 总结
参考文献
致谢



本文编号：3655333