基于标准误调整的自适应弹性网的惩罚M估计

发布时间：2020-05-25 02:06

【摘要】：变量选择可以帮助我们从大量的数据中提取出有价值的信息,提高模型的预测精度.如何高效地从众多的协变量中选出对因变量有重要作用的变量是统计推断中的重要问题.1996年,统计学家Tibshirani提出了重要的方法——Lasso,该方法可以使模型产生稀疏解,但不具备Oracle性质.因此,Zou在Lasso的基础上进一步提出了 adaptive Lasso,此方法对不同的系数进行不同程度的压缩,更容易挑选出重要的变量,并且此方法具备Oracle性质.很多高维数据中变量之间存在相关性,此时Lasso方法就不能充分反映变量之间的关系,于是弹性网(Elastic-net)方法应运而生,此方法能够使高度相关的变量同时进入模型或从模型中剔除,但此方法不具有Oracle性质.因此,在Elastie-net和adaptive Lasso的基础上提出了具有Oracle性质的自适应弹性网(adaptive Elastic-net)方法.以上这几种方法都是基于最小二乘的惩罚变量选择方法.当数据中出现异常值或重尾分布时,基于传统的最小二乘的惩罚变量选择方法将不再适用,需要寻求更稳健的估计方法.而M估计在稳健统计推断领域中已经被广泛研究.此外,随着科学技术的快速发展,实际生活中产生了大量的数据,这些数据呈现高维度,强相关,多冗余的现象.因此,在稳健估计的基础上还需要寻求能够有效处理数据共线性问题的变量选择方法.综合以上问题,本文提出了一种带惩罚函数的M估计,即基于标准误调整的自适应弹性网的惩罚M估计.本文内容主要研究基于标准误调整的自适应弹性网的惩罚M估计方法,该方法以M估计和它的标准误作为权重代替普通的最小二乘估计,并给出此方法的相合性和渐近正态性及其理论证明.对于高维情况的变量选择,在保持估计的准确性和处理多重共线性问题的同时,使用多个调整参数.这可以通过迭代来实现,其中每一步迭代都使用单独的调整参数,这就是MSA-Enet(the multi-step adaptive Elastic-net)的思想.本文用这种方法对超高维数据进行降维,使数据维数pn降至小于样本量n,然后再运用本文提出的方法进行变量的选择和参数的估计.最后,通过数值模拟分析和实例分析对本文所提出的方法进行验证,模拟和实例分析结果显示本文提出的方法比其它常用的变量选择方法有一定的优势.
【图文】：

例（ＬＳＴＡＴ）．逡逑本文中采用基于标准误调整的自适应弹性网的惩罚Ｍ估计方法对标准化后的数据进逡逑行拟合，分析图４．５．１可知响应变量（ＬＭＶ）中存在异常值．对于每种方法，，随机抽取８０％逡逑（４００个样本）作为训练集，另２０％邋（１０６个样本）作为独立测试集．ＳＭＳ代表选择的模型大逡逑小，ＭＡＥ代表平均预测绝对误差，其计算公式为＾邋咏－沾丨，重复１00次求其均值．这逡逑里选用邋Ｌａｓｓｏ邋和邋Ｅｌａｓｔｉｃ－ｎｅｔ邋（Ｅｎｅｔ）与邋ＬＳ－ＡＥｎｅｔ，ＬＡＤ－ＡＥｎｅｔ，邋Ｈｕｂｅｒ－ＡＥｎｅｔ邋进行比较．通逡逑过表４．５．１可知这几种方法的预测误差相差不大，但是ＬＡＤ－ＡＥｎｅｔ和Ｈｕｂｅｒ－ＡＥｎｅｔ得到逡逑的模型更稀疏且Ｈｕｂｅｒ－ＡＥｎｅｔ有比较小的误差．而Ｅｌａｓｔｉｃ－ｎｅｔ比Ｌａｓｓｏ选择出的变量多．逡逑８邋］逦１逡逑ｓ逦N逡逑Ｓ邋－逦：逡逑Ｓ邋－逡逑0邋＿逦：逡逑图４．５N响应变量ＬＭＶ的箱线图逡逑逦表４．５．１：波士顿住房数据分析结果逦逡逑方法逦ＬＳ－ＡＥｎｅｔ逦ＬＡＤ－ＡＥｎｅｔ逦Ｈｕｂｅｒ－ＡＥｎｅｔ逦Ｅｎｅｔ逦Ｌａｓｓｏ逡

0邋＿逦：逡逑图４．５N响应变量ＬＭＶ的箱线图逡逑逦表４．５．１：波士顿住房数据分析结果逦逡逑方法逦ＬＳ－ＡＥｎｅｔ逦ＬＡＤ－ＡＥｎｅｔ逦Ｈｕｂｅｒ－ＡＥｎｅｔ逦Ｅｎｅｔ逦Ｌａｓｓｏ逡逑ＳＭＳ逦１０．９７逦０３逦１０．（３９逦Ｋ３逦１２．５１逡逑ＭＡＥ逦０．３６９
【学位授予单位】：曲阜师范大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：C81

【相似文献】

相关期刊论文 前10条

1 闫懋博;田茂再;;基于变量选择事件的新弹性网方法[J];数学的实践与认识;2019年12期

2 李静;王金甲;李慧;;融合脑电特征的弹性网特征选择和分类[J];生物医学工程学杂志;2016年03期

3 ;弹性网结构的流体动力学性状[J];渔业现代化;2014年06期

4 ;NIKE夏至FRESH新品登场[J];体育世界(酷玩);2007年07期

5 吴筱菁;;弹性网回归在功能磁共振成像数据分析中的应用综述[J];临床医药文献电子杂志;2017年98期

6 芮小平;张立强;;基于弹性网的多维信息可视化研究[J];系统仿真学报;2010年02期

7 王沛立;李恩平;;我国居民医疗负担及其影响因素分析——基于弹性网方法的实证研究[J];数学的实践与认识;2019年14期

8 杨宏晖;高洁宇;于传林;;基于弹性网回归的水下目标无监督特征选择算法[J];数字海洋与水下攻防;2018年01期

9 朱星红,陈尔瑜,余汇洋,李振强,糜建红;狗股动脉弹性纤维的构筑[J];解剖学报;1998年02期

10 张淑清;杨振宁;张立国;苑世钰;王志义;;基于弹性网降维及花授粉算法优化BP神经网络的短期电力负荷预测[J];仪器仪表学报;2019年07期

相关会议论文 前2条

1 闫丽娜;王彤;;惩罚COX模型和弹性网技术在高维数据生存分析中的应用[A];2011年中国卫生统计学年会会议论文集[C];2011年

2 赵海亮;冯彦成;王立芹;;自适应弹性网方法在Cox模型中的应用[A];2017年中国卫生统计学学术年会论文集[C];2017年

相关博士学位论文 前3条

1 王静;电阻抗成像的几种正则化方法研究[D];哈尔滨工业大学;2015年

2 付光辉;高维的强相关数据的模型选择[D];中南大学;2011年

3 周正华;基于神经网络和稀疏表示的几何造型理论与方法研究[D];上海大学;2015年

相关硕士学位论文 前10条

1 施怡;基于弹性网的面板数据的分位数回归方方法及实证研究[D];杭州师范大学;2019年

2 胡文婷;基于标准误调整的自适应弹性网的惩罚M估计[D];曲阜师范大学;2019年

3 石峗萍;基于互信息测度和弹性网罚的Logistic模型研究[D];兰州大学;2019年

4 王爽;Lasso及改进的Lasso方法在几类模型变量选择中的应用[D];广西师范学院;2018年

5 王黎明;基于弹性网逻辑回归算法的内容点击率预估系统的设计与实现[D];北京交通大学;2018年

6 王丹;基于稀疏和低秩约束的人脸识别算法研究[D];陕西师范大学;2018年

7 叶愿;核弹性网正则化算法的推广性能[D];湖北大学;2018年

8 徐娜娜;带弹性网惩罚的光滑化分位数回归[D];北京交通大学;2017年

9 赵海亮;自适应弹性网方法在Cox模型中的应用[D];河北医科大学;2017年

10 王琳琳;基于结构磁共振成像的性别分类研究[D];北京交通大学;2017年

本文编号：2679377