超高维非参数可加模型的变量筛选与统计推断

发布时间：2020-11-03 06:09

　　 随着现代信息技术的快速发展,(超)高维数据涌现于多个领域。其特征为预测变量个数远大于样本量。且预测变量与响应变量之间往往非线性相关。传统的统计学方法与线性模型假设不再适用。考虑到完全非参数模型的“维度诅咒”,在本文中,我们针对非参数可加模型提出新的变量筛选方法与总体显著性检验统计量。为了充分降维,学者提出了多种独立变量筛选方法与正则化回归法。但是,这些方法均存在诸多弊端。因此,Wang(2009)提出了基于超高维线性模型的向前回归(FR)法。基于FR算法的优良表现,我们在本文中将FR算法拓展为基于向前可加回归的变量筛选方法(FAR)。此外,我们严格建立了FAR算法的筛选一致性,并通过模拟实验和真实数据分析检验了 FAR算法在有限样本下的表现。研究结果表明,与独立变量筛选方法相比,FAR算法能更加有效地识别可加模型中的真实预测变量。且当预测变量间高度相关时,FAR算法甚至比基于迭代过程的独立变量筛选方法表现更好。同时,为了满足现代生物学领域的需求,本文还提出了非参数可加模型总体显著性检验,并提出了两个相关统计量Zn,p和Tn,p,同时采用了基于重回归的交叉验证法(RCV)估计模型的方差。该检验的实质是超高维增广线性模型回归系数的总体显著性检验。然而,现有的超高维线性模型回归系数检验工作仍存在部分空白。因此,我们提出了条件U型检验(CUT),对现有理论进行补充。但是,由于超高维模型中噪音的干扰,现有的高维检验以及CUT检验的势大幅降低。为此,我们提出了基于变量筛选与数据多切分的条件U型检验(CUTS)。我们通过模拟实验发现,在原假设下,Zn,p、Tn,p以及CUT统计量的渐近分布均为正态分布。此外,我们还通过模拟实验和案例分析检验了 CUTS检验在有限样本下的有效性。
【学位单位】：厦门大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：O212
【文章目录】：
摘要
Abstract
第一章 引言
    1.1 研究背景
        1.1.1 变量选择
        1.1.2 统计推断
        1.1.3 非参数可加模型
    1.2 本文主要内容与创新
        1.2.1 主要内容
        1.2.2 创新之处
    1.3 文章结构
第二章 基于向前可加回归（FAR）的变量筛选
    2.1 文献综述
    2.2 统计模型
        2.2.1 模型假设
        2.2.2 FAR算法实现
        2.2.3 理论性质
    2.3 模拟实验
    2.4 实例分析
    2.5 定理证明
第三章 总体显著性检验
    3.1 文献综述
    3.2 统计模型
        3.2.1 模型假设
        3.2.2 检验统计量
    3.3 讨论:RCV方法估计方差
    3.4 模拟实验
    3.5 实例分析
第四章 超高维线性模型中的条件检验
    4.1 模型假设
    4.2 条件U型检验统计量
        4.2.1 检验统计量
        4.2.2 理论性质
    4.3 基于变量筛选的条件U型检验统计量（CUTS）
        4.3.1 CUTS-1统计量算法
        4.3.2 CUTS-2统计量算法
    4.4 模拟实验
    4.5 实例分析
第五章 总结与讨论
    5.1 总结
    5.2 讨论
参考文献
致谢
研究生在学期间发表的论文

【相似文献】

相关期刊论文 前10条

1 姜黄飞;;模型本无过 思想来引路[J];中学数学杂志;2017年06期

2 黄光远,朱月秋;森林火灾的模型及其扑灭问题[J];系统工程理论与实践;1988年02期

3 董应才;;累加数据的逻辑斯蒂模拟[J];陕西农业科学;1988年03期

4 J.G.Fossum ,徐玉辉;SOI MOSFET电路模拟的模型选择[J];微电子学;1989年02期

5 张维，刘豹;模型选择准则的渐近性质与选择检验[J];系统工程学报;1995年04期

6 马尽文;;有限混合体模型上的自动模型选择:一种崭新的数据建模方式(英文)[J];工程数学学报;2007年04期

7 李侠,邢润川;论科技政策制定主体的变迁与模型选择[J];自然辩证法研究;2001年11期

8 舒晓娟;陈洋波;任启伟;;模型选择准则在洪水频率分析中的应用[J];水利学报;2010年01期

9 姜宁,史忠植;文本聚类中的贝叶斯后验模型选择方法[J];计算机研究与发展;2002年05期

10 冯光成;顾庆;陈翔;陈道蓄;;一种软件可靠性增长模型选择与综合方法[J];计算机科学;2009年09期

相关博士学位论文 前10条

1 杨海娟;基于数字地价模型的小城镇地价评估研究[D];西北农林科技大学;2004年

2 刘靖旭;支持向量回归的模型选择及应用研究[D];国防科学技术大学;2006年

3 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年

4 朱素玲;模型选择与模型平均研究[D];兰州大学;2014年

5 夏小超;统计检验与模型选择相关问题研究[D];重庆大学;2015年

6 王银凤;Ornstein-Uhlenbeck型过程的统计推断和模型选择[D];复旦大学;2013年

7 刘勇;基于积分算子谱分析的核方法模型选择[D];天津大学;2016年

8 刘天庆;约束条件下的模型选择方法及其应用[D];东北师范大学;2010年

9 韩顺杰;基于支持向量机的工程车辆自动变速方法研究[D];吉林大学;2009年

10 付光辉;高维的强相关数据的模型选择[D];中南大学;2011年

相关硕士学位论文 前10条

1 张扬;门限自回归TAR模型在股票价格分析中的应用[D];云南大学;2017年

2 段孙蓬;超高维非参数可加模型的变量筛选与统计推断[D];厦门大学;2018年

3 李红灿;A进口跨境电商平台免运费门槛与运费策略研究[D];厦门大学;2018年

4 别晓芳;基于t分布的GARCH族模型的建立与实证分析[D];哈尔滨工业大学;2018年

5 何远生;基于深度学习多模型融合的中文短文本情感分类算法研究与实现[D];华南理工大学;2018年

6 崔贤娟;鲁棒随机块模型与算法研究[D];吉林大学;2018年

7 王名镜;基于群智能优化的核极限学习机模型选择方法研究及应用[D];温州大学;2018年

8 张兰兰;决策树及增强算法在实际问题中的应用[D];大连理工大学;2018年

9 谭清雄;基于信号分解技术的组合模型在风电功率预测中的研究[D];华中科技大学;2017年

10 杨娟;基于模型选择和灰色理论的税收影响因素分析和预测研究[D];重庆大学;2018年

本文编号：2868200