部分线性模型中差分估计与SCAD的比较及带有异常点的非负变量选择

发布时间：2017-09-26 05:22

  本文关键词：部分线性模型中差分估计与SCAD的比较及带有异常点的非负变量选择

  更多相关文章： 惩罚函数 差分估计 SCAD 压缩异常点 非负约束

【摘要】：变量选择在现代统计学中占有越来越重要的地位,近年来由Tibshirani提出来的LASSO方法受到了极大的关注。LASSO中惩罚函数的方法已经被用于各种模型中来解决实际问题。本文的研究主要分为两个部分:首先是在部分线性回归模型中比较了差分估计和SCAD,主要为了研究变量选择估计在其他更复杂的模型中的表现,研究其优劣性;其次是在线性模型中讨论了LASSO式惩罚函数在更复杂的数据集中的运用,本篇文章是将惩罚函数的思想运用到带有异常点的数据中,使惩罚函数思想的方法运用到更加实际的模型及数据集。本文主要是从变量选择的两个方面进行了深入的研究。(1)部分线性回归模型中改进的差分估计与SCAD的比较:本文考虑了部分线性回归模型中回归参数向量估计的问题,提出了具有更好性质的压缩差分估计,并且研究了它的渐近性质以及其风险函数。本部分还将SCAD的惩罚函数运用到模型中得到SCAD估计,然后通过Monte Carlo模拟了压缩差分估计和SCAD估计的相关结果,并对它们之间的优劣进行了比较。从我们的模拟结果中可以发现,在样本量较小的时候,SCAD估计的效果并不如成熟的差分估计和本文提出的压缩估计;但随着样本量的增加,SCAD估计的效果却越来越好。SCAD与众差分估计的比较将用表格和箱线图的形式展现出来。(2)在线性模型中研究带有异常点的非负变量选择的研究:本部分在SROS估计的基础上,介绍了SROS估计的相关性质:a、SROS估计是几乎回归等变的;b、SROS估计与ROS估计具有相同的失效值,并且ROS估计具有最大的失效值。在此基础上提出了非负SROS估计,并证明了在非负SROS不可忽略条件下,非负SROS是具有变量选择相合性的。在模拟部分,在三种不同的数据集中,通过残差平方和对比参数值分别比较了LTS估计,ROS估计,LAD-lasso估计,SROS估计以及非负SROS估计的效果。通过模拟可以发现,本文提出的非负SROS估计,在要求参数为非负的情况下,具有比较好的表现,模拟出的参数值也是这几个估计中最为接近真实值的。另外,在比较的过程中可以看到LAD-lasso估计也具有可取的优势。具体的结果将在后面的表格和分析中展现出来。
【关键词】：惩罚函数 差分估计 SCAD 压缩异常点 非负约束
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：O212.1
【目录】：

• 中文摘要3-4
• 英文摘要4-8
• 1 绪论8-13
• 1.1 模型的简介8
• 1.2 国内外研究状况8-11
• 1.2.1 非负最小二乘的发展与现状9
• 1.2.2 变量选择的发展与现状9-10
• 1.2.3 稳健估计的发展与现状10-11
• 1.3 本文研究的主要内容及结构11-13
• 2 预备知识13-15
• 2.1 数学符号13
• 2.2 矩阵论13-15
• 3 部分线性回归模型中改进的差分估计与SCAD估计15-29
• 3.1 引言15
• 3.2 基于差分估计的改进15-16
• 3.3 压缩估计的构造16-17
• 3.4 渐近分布偏差和渐近分布风险17-18
• 3.5 估计值的ADR分析18-20
• 3.6 LASSO思想在模型(3.6)中的运用20-21
• 3.7 数值模拟21-26
• 3.8 实证分析26-29
• 4 带有异常点的非负变量选择的研究29-44
• 4.1 提出带有异常点的非负变量选择的意义29
• 4.2 ROS估计及其性质29-32
• 4.2.1 ROS估计的失效值30-32
• 4.2.2 ROS估计的渐近性32
• 4.3 稀疏估计的最优失效值32-35
• 4.4 SROS估计和非负SROS估计35-41
• 4.4.1 SROS估计和非负SROS估计的性质36-40
• 4.4.2 SROS估计和非负SROS估计的算法40-41
• 4.5 数值模拟41-44
• 5 结论与展望44-45
• 致谢45-46
• 参考文献46-51
• 附录51

【相似文献】

中国期刊全文数据库 前10条

1 杨丽霞;魏立力;;基于粗糙集方法的有序尺度变量选择[J];宁夏大学学报(自然科学版);2009年02期

2 赵宇;黄思明;;带有变量选择过程的分类模型误差分析[J];数学的实践与认识;2010年17期

3 樊亚莉;徐群芳;;稳健的变量选择方法及其应用[J];上海理工大学学报;2013年03期

4 陶靖轩;多元分析中的变量选择问题研究[J];中国计量学院学报;2001年01期

5 李树军,纪宏金;对应聚类分析与变量选择[J];地球物理学进展;2005年03期

6 陈黎明;赵永红;;转换函数未知时转换模型的变量选择[J];四川大学学报(自然科学版);2011年05期

7 刘民千,张润楚;超饱和设计的变量选择[J];南开大学学报(自然科学版);2000年03期

8 王进;;聚类分析中的距离与变量选择[J];山西财经大学学报;2007年S1期

9 张波;方国斌;;高维面板数据降维与变量选择方法研究[J];统计与信息论坛;2012年06期

10 高仁祥,张世英,刘豹;基于神经网络的变量选择方法[J];系统工程学报;1998年02期

中国重要会议论文全文数据库 前6条

1 张俊华;方伟武;;调查表分析中变量选择的一些方法(英文)[A];中国运筹学会第六届学术交流会论文集（下卷）[C];2000年

2 李洪东;梁逸曾;;高维数据变量选择新方法研究[A];中国化学会第27届学术年会第15分会场摘要集[C];2010年

3 李慷;席裕庚;;复杂过程系统中操作变量选择与定位的方法研究[A];1993年控制理论及其应用年会论文集[C];1993年

4 云永欢;王为婷;梁逸曾;;迭代的保留有信息变量来筛选最佳变量子集的一种多元校正变量选择方法[A];中国化学会第29届学术年会摘要集——第19分会：化学信息学与化学计量学[C];2014年

5 徐登;范伟;梁逸曾;;紫外光谱结合变量选择和偏最小二乘回归同时测定水中重金属镉、锌、钴[A];中国化学会第29届学术年会摘要集——第19分会：化学信息学与化学计量学[C];2014年

6 梁逸曾;李洪东;许青松;曹东升;张志敏;;灰色化学建模与模型集群分析——兼论过拟合、稳健估计、变量选择与模型评价[A];中国化学会第27届学术年会第15分会场摘要集[C];2010年

中国博士学位论文全文数据库 前10条

1 王大荣;分散度量模型中的变量选择[D];北京工业大学;2009年

2 王明秋;高维数据下若干回归模型的变量选择问题研究[D];大连理工大学;2012年

3 刘吉彩;生存数据统计模型的变量选择方法[D];华东师范大学;2014年

4 樊亚莉;稳健变量选择方法的若干问题研究[D];复旦大学;2013年

5 唐凯临;变量选择和变换的新方法研究[D];同济大学;2008年

6 董莹;高维共线性统计模型的参数估计与变量选择[D];大连理工大学;2014年

7 叶飞;相对误差准则下的估计理论和变量选择方法的研究[D];清华大学;2013年

8 袁晶;贝叶斯方法在变量选择问题中的应用[D];山东大学;2013年

9 王树云;基于Bayes方法和图限制下正规化方法的变量选择问题及其在基因组数据中的应用[D];山东大学;2010年

10 姬永刚;分位数回归中的贝叶斯变量选择[D];东北师范大学;2012年

中国硕士学位论文全文数据库 前10条

1 赵冬琦;基于变量选择的股指期货对股票市场影响的实证研究[D];兰州大学;2015年

2 程勇;多水平模型的变量选择在农户人均收入数据中的应用[D];云南财经大学;2015年

3 邓秋玲;SCAD和ADS方法在比例风险模型中的应用[D];广西大学;2015年

4 韦新星;几种变量选择方法在Cox模型中的应用[D];广西大学;2015年

5 王唯;部分线性模型的变量选择问题研究[D];湘潭大学;2015年

6 徐国盛;若干模型的分位数变量选择[D];浙江财经大学;2016年

7 郭雪梅;部分线性模型中差分估计与SCAD的比较及带有异常点的非负变量选择[D];重庆大学;2015年

8 王艳;复共线性及异方差线性模型中的参数估计与变量选择[D];重庆大学;2015年

9 杨成敏;广义线性模型中的参数估计及变量选择方法研究[D];重庆大学;2015年

10 钟冬梅;线性模型中的变量选择及股票市场实证研究[D];重庆大学;2015年

，

本文编号：921722