基于回归树的充分降维方法研究

发布时间：2022-08-10 20:52

　　大数据时代的到来使人们面对的数据越来越复杂,充分降维理论对于研究这种复杂数据有着重要的意义。在响应变量多维时,传统的充分降维理论往往会面临许多难题。本文主要研究基于回归树的充分降维方法,在响应变量多维的情况下巧妙地解决了维数灾难的问题。响应变量一维时,传统的方法通常会采用切片的方法对响应变量进行划分。但是随着维数的升高,这种切片的方法会导致切分出的许多切片内部没有任何样本点。而回归树的方法可以对多维空间进行划分,叶子结点的值正好是空间划分后的均值。基于这一思想,本文提出了基于回归树的充分降维方法。这里的回归树模型可以是梯度提升树,随机森林,Xgboost等。对于SIR、SAVE、DR方法,本文给出了估计核矩阵的方法。最后,本文通过大量的模拟与实例分析,验证了该方法在响应变量多维时的有效性。与现有的方法相比,该方法在响应变量高维时,有一定的优势。无论是线性还是非线性模型,在有一定程度噪声的情况下,本文的方法都可以较好的估计出降维方向。在样本量比较少时,随机森林的效果较好。在样本量比较大时,梯度提升树、随机森林、Xgboost的表现相当。由于集成学习模型往往会有较多的超参数,对于超参数的设... 

【文章页数】：58 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
主要符号对照表
第一章 引言
    §1.1 研究背景
    §1.2 国内外研究现状
    §1.3 本文的框架与创新点
第二章 基础知识
    §2.1 降维
        §2.1.1 降维的定义与分类
        §2.1.2 降维效果的评价标准
        §2.1.3 充分降维
        §2.1.4 估计中心降维子空间的方法
        §2.1.5 结构维数
        §2.1.6 多维响应变量的充分降维方法
    §2.2 回归树与集成学习
        §2.2.1 回归树
        §2.2.2 集成学习
第三章 基于回归树的充分降维方法
    §3.1 核心思想
    §3.2 基于回归树的SIR方法
    §3.3 基于回归树的SAVE方法
    §3.4 基于回归树的DR方法
    §3.5 响应变量缺失值处理方法
第四章 数值模拟与实例分析
    §4.1 响应变量二维的情形
        §4.1.1 线性模型
        §4.1.2 非线性模型
    §4.2 响应变量三维及以上的情形
        §4.2.1 响应变量三维
        §4.2.2 响应变量高维
    §4.3 响应变量有缺失值
    §4.4 与现有方法的比较
    §4.5 实例分析
第五章 结论及展望
    §5.1 结论
    §5.2 展望
参考文献
致谢



本文编号：3674340