几类半参数回归模型的稳健估计与变量选择

发布时间：2020-10-29 07:31

　　 半参数模型不仅具有非参数模型的灵活性而且保留了参数模型易于解释的优点。因此它们到了许多学者的广泛关注并且在经济学、生物学以及医学等领域有着广泛的应用。本文主要研究了变系数模型、部分线性可加模型和变指标系数模型这三类重要的半参数模型。现存的估计方法大多基于最小二乘或似然函数的方法。众所周知,这两种估计方法不稳健,因为它们对数据中的异常点或者厚尾误差分布比较敏感,从而大大降低估计的效率。更糟糕的是,当误差的二阶矩不存在时,最小二乘估计不再是相合的。因此,这就启发我们从不同角度寻找多种稳健的估计方法。另一方面,变量选择无疑是统计建模的一项基础而重要的工作。因为我们希望一个好的统计模型只含有与响应变量相关的协变量,从而得到更简洁的模型结构和增强模型的预测能力。因此本文的研究目的是对变系数模型、部分线性可加模型和变指标系数模型构造一系列稳健且有效的估计程序以及实施变量选择。具体地,本文的研究内容包括以下三部分。第一部分研究了变系数模型的稳健估计与变量选择问题。本文第二章利用B样条基函数近似、双重SCAD惩罚函数和秩回归对变系数模型构造了一种稳健且有效的统一变量选择方法。这里的统一变量选择方法是指在没有任何先验信息下,该方法不仅能够选择出重要的协变量而且还能同时区分常系数效应与变系数效应的协变量。在适当的条件下,我们证明了所提方法在选择重要变量和常系数效应与系数效应的区分方面都是相合的,以及非零参数估计具有Oracle性质,同时数值模拟和实例分析验证了所提方法的稳健性与有效性。注意到第二章所考虑的变系数模型不能处理离散响应变量。因此,本文第三章研究了更灵活的广义变系数部分线性模型,该模型不仅能够处理非高斯数据而且还能处理非线性的连接函数。在广义变系数部分线性模型的框架下,我们利用指数得分函数和权函数构造了稳健的估计方程。新估计不仅能够同时克服响应变量和协变量中异常值的影响而且还具有很好的有效性通过选择合适的调节参数。进一步,我们基于Ueki(2009)提出的光滑阈估计方程构造了关于参数部分的稳健变量选择程序。在适当的条件下,证明了所提估计具有Oracle性质。另外,基于Newton-Raphson的思想,我们给出了求解稳健估计方程数值解的迭代算法,同时还讨论了在实际问题中如何选择估计方程中所涉及的一系列调节参数。数值模拟和实例分析进一步验证了所提方法的优越性。第二部分研究了部分线性可加模型的稳健估计与变量选择。本文第四章利用B样条基函数近似、双重SCAD惩罚函数和众数回归对部分线性可加模型构造了稳健的变量选择方法。在合适的条件下,该变量选择方法在选择重要的参数和非参数分量方面都是相合的,并且得到的非参数估计达到最佳收敛率以及非零参数估计具有Oracle性质。同时,我们利用EM算法和局部二次近似给出了求解惩罚估计的实施步骤。数值模拟和实例分析均表明所构造的估计量是稳健的且与存在的估计方法相比具有很大的优越性。本文第五章研究了具有纵向数据结构的部分线性可加模型。在分位数回归的框架下,我们构造了新的估计函数基于工作相关矩阵。该方法的最大优点在于它不仅可以处理纵向数据的组内相关性而且还具有稳健性。为了克服估计函数非凸、不连续以及不可微等问题,我们运用Brown和Wang(2005)所提的感应光滑方法获得所提估计方程的数值解。此外,我们构造了一种稳健的光滑阈广义估计方程来处理变量选择问题。在合适的条件下,证明了所提估计具有Oracle性质。数值模拟和实例分析进一步验证了所提方法的优良性质。第三部分是关于变指标系数模型的稳健估计问题的研究。变指标系数模型是一类非常灵活的半参数模型,它包括了许多常见的半参数模型,比如变系数模型、变系数部分线性模型、可加模型、部分线性可加模型等。在第六章中,我们运用B样条基函数和众数回归对变指标系数模型构造了新的稳健估计程序。因此,本章的研究可以看成是第四章的拓广。在理论上,我们证明了所提估计的大样本性质,包括估计的相合性与渐近正态性。同时,我们结合EM算法和Fisher’s score方法给出了求解估计的实施步骤。数值模拟和实例分析表明所提估计表现得很好。
【学位单位】：重庆大学
【学位级别】：博士
【学位年份】：2015
【中图分类】：O212.1
【文章目录】：
中文摘要
英文摘要
主要符号对照表
1 绪论
    1.1 变系数模型
    1.2 部分线性可加模型
    1.3 变指标系数模型
    1.4 本文的主要工作
2 变系数模型基于秩回归的稳健变量选择与参数元素识别
    2.1 引言
    2.2 稳健的变量选择和参数元素识别
        2.2.1 估计方法
        2.2.2 渐近理论
    2.3 算法与调节参数的选择
    2.4 数值模拟
    2.5 实例分析
    2.6 本章小结
    2.7 主要结果的条件和证明
3 广义变系数部分线性模型中的稳健光滑阈估计方程
    3.1 引言
    3.2 估计方法与理论性质
        3.2.1 稳健的估计方程
        3.2.2 渐近理论
    3.3 稳健的光滑阈估计方程与Oracle性质
    3.4 算法与调节参数的选择
    3.5 数值模拟
    3.6 实例分析
    3.7 本章小结
    3.8 主要结果的条件和证明
4 部分线性可加模型基于众数回归的稳健变量选择
    4.1 引言
    4.2 稳健的众数估计及其理论性质
        4.2.1 估计方法
        4.2.2 理论性质
    4.3 渐近窗宽与相对效率
        4.3.1 渐近窗宽
        4.3.2 渐近相对效率
    4.4 部分线性可加模型中的变量选择问题
    4.5 调节参数的选择与估计算法
        4.5.1 调节参数的选择
        4.5.2 算法
    4.6 数值模拟
    4.7 实例分析
    4.8 本章小结
    4.9 主要结果的条件和证明
5 纵向数据下部分线性可加模型的稳健变量选择
    5.1 引言
    5.2 分位数回归模型与理论性质
        5.2.1 样条近似与估计
        5.2.2 参数与协方差矩阵的估计
        5.2.3 渐近理论
    5.3 光滑阈广义估计方程和Oracle性质
        5.3.1 变量选择过程
        5.3.2 调节参数的选取
    5.4 数值模拟
    5.5 实例分析
    5.6 本章小结
    5.7 主要结果的条件和证明
6 变指标系数模型基于众数回归的稳健估计
    6.1 引言
    6.2 剖面样条众数估计
        6.2.1 估计程序
        6.2.2 渐近性质
    6.3 两步估计方法及其Oracle性质
    6.4 渐近窗宽
        6.4.1 PSME的渐近窗宽
        6.4.2 SBLLM估计的渐近窗宽
    6.5 估计算法
        6.5.1 关于PSME的估计算法
        6.5.2 关于LLM和SBLLM的估计算法
    6.6 数值模拟
    6.7 实例分析
    6.8 本章小结
    6.9 主要结果的条件和证明
7 总结
致谢
参考文献
附录
    A. 作者在攻读博士期间的研究成果及发表的论文

【相似文献】

相关期刊论文 前10条

1 杨丽霞;魏立力;;基于粗糙集方法的有序尺度变量选择[J];宁夏大学学报(自然科学版);2009年02期

2 赵宇;黄思明;;带有变量选择过程的分类模型误差分析[J];数学的实践与认识;2010年17期

3 樊亚莉;徐群芳;;稳健的变量选择方法及其应用[J];上海理工大学学报;2013年03期

4 陶靖轩;多元分析中的变量选择问题研究[J];中国计量学院学报;2001年01期

5 李树军,纪宏金;对应聚类分析与变量选择[J];地球物理学进展;2005年03期

6 陈黎明;赵永红;;转换函数未知时转换模型的变量选择[J];四川大学学报(自然科学版);2011年05期

7 刘民千,张润楚;超饱和设计的变量选择[J];南开大学学报(自然科学版);2000年03期

8 王进;;聚类分析中的距离与变量选择[J];山西财经大学学报;2007年S1期

9 张波;方国斌;;高维面板数据降维与变量选择方法研究[J];统计与信息论坛;2012年06期

10 高仁祥,张世英,刘豹;基于神经网络的变量选择方法[J];系统工程学报;1998年02期

相关博士学位论文 前10条

1 吕晶;几类半参数回归模型的稳健估计与变量选择[D];重庆大学;2015年

2 王大荣;分散度量模型中的变量选择[D];北京工业大学;2009年

3 王明秋;高维数据下若干回归模型的变量选择问题研究[D];大连理工大学;2012年

4 刘吉彩;生存数据统计模型的变量选择方法[D];华东师范大学;2014年

5 樊亚莉;稳健变量选择方法的若干问题研究[D];复旦大学;2013年

6 唐凯临;变量选择和变换的新方法研究[D];同济大学;2008年

7 董莹;高维共线性统计模型的参数估计与变量选择[D];大连理工大学;2014年

8 叶飞;相对误差准则下的估计理论和变量选择方法的研究[D];清华大学;2013年

9 袁晶;贝叶斯方法在变量选择问题中的应用[D];山东大学;2013年

10 王树云;基于Bayes方法和图限制下正规化方法的变量选择问题及其在基因组数据中的应用[D];山东大学;2010年

相关硕士学位论文 前10条

1 赵冬琦;基于变量选择的股指期货对股票市场影响的实证研究[D];兰州大学;2015年

2 程勇;多水平模型的变量选择在农户人均收入数据中的应用[D];云南财经大学;2015年

3 邓秋玲;SCAD和ADS方法在比例风险模型中的应用[D];广西大学;2015年

4 韦新星;几种变量选择方法在Cox模型中的应用[D];广西大学;2015年

5 王唯;部分线性模型的变量选择问题研究[D];湘潭大学;2015年

6 徐国盛;若干模型的分位数变量选择[D];浙江财经大学;2016年

7 郭雪梅;部分线性模型中差分估计与SCAD的比较及带有异常点的非负变量选择[D];重庆大学;2015年

8 王艳;复共线性及异方差线性模型中的参数估计与变量选择[D];重庆大学;2015年

9 杨成敏;广义线性模型中的参数估计及变量选择方法研究[D];重庆大学;2015年

10 钟冬梅;线性模型中的变量选择及股票市场实证研究[D];重庆大学;2015年

本文编号：2860585