高维半参数回归模型的统计推断及相关问题研究

发布时间：2020-05-05 08:32

【摘要】：随着计算机能力和科学技术的快速发展,人们获得的数据所包含的信息越来越多,高维数据的统计推断问题研究已经成为十几年来炙手可热的研究热点.在一些实际问题中,除了样本信息之外,通常人们还可以获得有关回归系数的相关信息.利用这些回归系数的信息,很大程度上可以提高估计的效率,进而提高模型的效率.另外,在许多回归问题中,我们需要找出对预测响应变量起重要作用的解释因素,而这些因素通常具有组结构的特点.常见的例子包括:回归中的多水平类别型协变量需要用一组哑变量来表示;非参数回归中,将变量的光滑函数用一组基函数来表示.因此,有关组结构变量的选择方法的研究有着非常重要的理论意义和应用价值.第一章介绍了本文的研究背景和预备知识.作为一个最经典、最简单、最流行的回归分析方法,线性回归分析是研究响应变量和一组协变量之间统计关系的一种至关重要的方法.然而,在实际数据分析中,我们不可能知道真实的模型结构.如果响应变量和协变量之间真实的关系不是线性的,那么用线性模型进行推断则会造成模型设定的偏差,进而导致错误结论的出现.非参数回归模型对模型的假设相对弱很多,可以拟合数据中变量的非线性关系.这类模型的优点在于回归函数的形式相对灵活,能根据数据的特点较好的拟合出变量之间的关系.但当协变量的维数较大时,此类模型会产生维数祸根的问题.半参数回归模型即含有参数部分又含有非参数部分,在保留参数回归模型简单性的同时又具有非参数回归模型灵活性的特点.因此半参数回归模型在实际中具有非常广泛的应用.在部分线性回归模型的框架下,第二章研究了参数部分的维数发散时参数部分回归系数满足某些线性约束条件下的统计推断.对非参数部分的估计我们使用B样条基函数的方法.本文考虑用B样条基函数的方法来估计未知函数,因为此方法在计算上效率是非常高的,估计的精度也比较高.而且B样条基函数方法是一种全局光滑法.因此,系数的估计可以一步实现,而核方法在计算上非常耗时,因为它需要对每个数据点或多个数据点进行重复.理论上,在某些常规条件下给出了约束轮廓最小二乘估计的相合性和渐近正态性.并通过数值模拟来验证估计的有限样本表现.模拟结果说明如果回归参数向量满足某些先验信息,利用这些先验信息得到的约束估计比无约束估计更有效.第三章将第二章的部分线性回归模型推广到部分线性可加回归模型,由于含有多个非参数函数,部分线性可加回归模型具有更广泛的应用.本章考虑了线性部分的参数个数发散且满足某些线性约束条件时的相关统计推断问题.首先,对非参数部分的函数利用B样条基函数进行估计后,给出参数部分的约束轮廓最小二乘估计.在常规条件下建立了约束轮廓最小二乘估计的相合性和渐近正态性.其次,为了检验参数部分的线性约束条件是否成立,我们给出了轮廓似然比检验统计量,并证明了在原假设和备择假设分别成立的条件下轮廓似然比检验统计量的极限分布为卡方分布.最后,利用数值模拟和实例分析验证轮廓最小二乘估计和轮廓似然比检验统计量的样本表现.数值结果说明在各种情况下约束估计的表现比无约束估计的表现好很多,轮廓似然比统计量对备择假设是很敏感的.第四章考虑了参数部分的协变量具有组结构情况的高维部分线性回归模型.我们提出了自适应group bridge方法来实现参数部分的组变量选择问题,同时我们考虑了自适应group bridge方法中参数γ的选择.利用leave-one-observation-out交叉验证方法选择调整参数λ和bridge中的参数γ.通过推导,该方法与标准的交叉验证方法相比可以大大的降低计算量.理论上,我们给出了目标函数的全局最小值点,同时证明了该最小值点的相合性、收敛速度以及渐近正态分布.数值模拟结果说明自适应group bridge方法表现良好,同时通过对工人工资数据的实例分析说明该方法给出的预测误差相比group Lasso和group bridge来说要小.因此,自适应group bridge在组变量选择的问题中是一中非常好的方法.局部线性逼近算法是一个非常有效的算法,用来求解非凹惩罚问题的全局最优解.然而该方法的有效性高度依赖于一个相当好的初始估计.当变量间存在多重共线性问题时,局部线性逼近算法就失效了.本文第五章提出了一个新的局部线性逼近岭算法来解决变量的多重共线性.取岭回归估计作为初始估计,局部线性逼近岭算法在求解估计时稳定并且有效.并且从理论上证明了算法的收敛性以及参数估计的Oracle性质.数值模拟通过多个例子验证局部线性逼近岭算法的有效性.由模拟结果可知,在多重共线性存在的情况下,我们提出的算法表现要远远好于局部线性逼近算法.第六章对全文工作进行了总结,同时给出了下一步将要开展的研究内容.
【图文】：

Ｃ图２．３．２：绿色虚线是参数无约束情况下函数ｙ的估计，蓝色点线是参数有约束情况下函数．（；的估逡逑计，黑色实线是真实函数邋ｐ．邋（ａ）邋（ｎ，ｐｎ）邋＝邋（１００，９）；邋（ｂ）邋（ｎ，，％）邋＝邋（２００，１１）；邋（ｃ）邋（ｎ，ｐｎ）邋＝邋（３００，１３）．逡逑

图３．４．１：邋ＭＳＥｓ的盒形图，／７二１００；邋ｍｓｃ：表示无约束估计的ＭＳＥｓ；邋ｎｎｓｃ：表示约束估计的ＭＳＥｓ．逡逑（ａ）邋ｐｎ＝邋６；邋（ｂ）邋ｐｎ＝邋１０．逡逑
【学位授予单位】：曲阜师范大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：C815

【相似文献】

相关期刊论文 前10条

1 冯三营;薛留根;范承华;;非线性半参数回归模型中参数的经验似然置信域[J];数学物理学报;2009年05期

2 刘运航;宋力杰;;病态半参数回归模型的岭估计求解[J];海洋测绘;2008年04期

3 薛留根;半参数回归模型中误差方差估计之分布的非一致性收敛速度[J];应用数学学报;2004年02期

4 邱瑾;删失场合半参数回归模型的二阶段估计[J];高校应用数学学报A辑(中文版);1998年03期

5 易东,王文昌,张蔚,许汝福;半参数回归模型介绍[J];中国卫生统计;1998年04期

6 潘建敏;截尾数据半参数回归模型的估计理论[J];杭州大学学报(自然科学版);1996年02期

7 陈兰祥,李生文;半参数回归模型参数的Bayes估计[J];同济大学学报(自然科学版);1997年06期

8 高集体,洪圣岩,梁华,施沛德;半参数回归模型研究的若干进展[J];应用概率统计;1994年01期

9 吴凤妹;;潜半参数回归模型的变量选择(英文)[J];四川大学学报(自然科学版);2011年02期

10 邓辉;;半参数模型估计方法概述[J];现代商贸工业;2010年05期

相关博士学位论文 前10条

1 王秀丽;高维半参数回归模型的统计推断及相关问题研究[D];曲阜师范大学;2019年

2 田瑞琴;纵向数据下半参数回归模型的统计推断[D];北京工业大学;2014年

3 杜江;稳健频率模型平均与半参数回归模型的估计[D];北京工业大学;2013年

4 王晓佳;基于数据分析的预测理论与方法研究[D];合肥工业大学;2012年

5 黄振生;含指标项半参数回归模型的估计与检验[D];华东师范大学;2010年

6 吕晶;几类半参数回归模型的稳健估计与变量选择[D];重庆大学;2015年

7 周晓尧;光电探测系统目标定位误差分析与修正问题研究[D];国防科学技术大学;2011年

8 韦程东;混合误差过程回归模型小波估计Berry-Esseen界[D];武汉大学;2013年

9 肖燕婷;含非线性函数的半参数回归模型的经验似然推断[D];西北工业大学;2015年

10 严国义;纵向数据与生存数据的半参数联合模型研究[D];武汉大学;2013年

相关硕士学位论文 前10条

1 贾子璇;污染数据半参数回归模型的最小一乘局部线性估计[D];吉林大学;2019年

2 桑婧;带有不可忽略缺失数据的半参数回归模型的统计推断[D];云南大学;2018年

3 俞小飞;基于ρˉ混合序列的半参数回归模型估计的相合性[D];吉林大学;2018年

4 金伟华;长江流域通航环境对油耗影响的半参数回归模型效应分析[D];武汉理工大学;2016年

5 袁婷;基于半参数模型的新疆发电量实证分析与预测[D];伊犁师范学院;2018年

6 陈涛;我国外汇储备影响因素的线性与半参数回归模型对比及实证研究[D];江西财经大学;2018年

7 梅莉;误差为时间序列的半参数回归模型的刀切型小波估计[D];湖北师范学院;2012年

8 常素英;半参数回归模型的渐进性质及其应用[D];武汉科技大学;2009年

9 董小娟;半参数回归模型的一些理论研究[D];西北工业大学;2002年

10 倪伟才;半参数回归模型的相合性[D];浙江大学;2002年

本文编号：2649828