稀疏性惩罚似然的多重阈值选择

发布时间：2020-10-26 23:48

　　 确保高预测精度和发现相关预测变量是统计学的两个根本目标[53]。在追求这两个目标的众多方法中,惩罚似然方法应用最为广泛。惩罚似然方法也称为正则化方法,是在似然函数中加入一个惩罚项(也称为正则项),并通过阈值(或称为罚值、正则项系数)的大小来控制似然函数与惩罚函数在目标函数中的比重,起到了使问题的解在模型的拟合精度与稀疏度量之间进行权衡的作用。就如同在机器学习中的监督机学习问题,无非就是“minimize your error while regularizing your parameters”[92],也就是在规则化参数的同时最小化误差。正则项系数的选取直接影响着估计及预测的精度。惩罚似然方法源于上世纪六七十年代A.E.Hoerl提出并和R.W.Kennard系统地发展的岭回归(Ridge Regression),最初是为了解决估计的不适定问题。而从1996 年美国科学院院士 Tibshirani 提出 Lasso(least absolute shrinkage and selection operator),把L1范式作为惩罚项开始,稀疏性惩罚似然成为使用最为广泛的变量选择方法,具有模型选择能力的惩罚函数称为稀疏性惩罚函数。此时正则项系数的选取不单影响着估计精度,而且也影响着模型选择的精度。阈值及正则项系数的选取是惩罚似然和正则化方法的最重要的问题之一,常用的方法有经验或者交叉验证(Cross validation)。交叉验证需要引入额外的数据。而且又因为交叉验证对于单阈值选择时是在一维空间上对该阈值进行遍历,对多阈值进行交叉验证则需要在多维空间上遍历,所以,交叉验证仅能给出统一的正则项系数,如果要对各个变量进行个性化惩罚,那么交叉验证的方法便无能为力了,所以统一惩罚只是人们无奈的选择。统一惩罚相比于个性化惩罚有很多缺点,例如,统一的惩罚下,同一个正则项系数值难以做到估计精度与模型选择精度同时达到最好的效果;统一的惩罚也会给设计阵的量纲选择造成困难。而这些问题在个性化惩罚下都是可以克服的。但是要让个性化惩罚实用化,那就必须有一种与交叉验证不同的、正则项系数能根据数据自适应选取的方法。本文从线性模型着手,给出了一种自适应的稀疏性惩罚似然的多重阈值选择方法。文中,首先探讨了预测的MSEP与估计的MSE之间的关系,指出在一定条件下,MSEP与MSE所对应的最优正则项系数是一致的,接着探讨了给定估计族,达到MSE下界附近的可能性。然后把正则项问题与估计的MSE和模型选择建立起联系,构建了 Global Adaptive Generative Alignment(GAGA)算法,使正则项隐含在估计过程中,从而让估计问题不再受正则项的选取所困扰。GAGA算法不仅是多重阈值的生成方法,也是一个完整的参数估计方法,它几乎不用设置超参数,并且有着良好的理论性质和强力的性能。理论上,本文证明GAGA算法的模型选择相合性及估计在支撑集上的渐近正态性。传统的稀疏性惩罚似然的证明是考察目标函数达到极值时的性质,不考虑这个极值是否能达到,而在n → ∞的假设下,很多细节和问题将被掩盖。与传统方法不同的是,本文精细的刻画了算法执行过程中当前解的性质,在理论上保证了 GAGA算法的实用性能。实验上,首先是数值模拟实验,我们选择了统计领域的自适应Lasso和信号领域的正交匹配追踪(Orthogonal Matching Pursuit,OMP)这两个既有理论保证又应用广泛的优秀算法作为对比算法,通过数万次数值实验,对GAGA算法的性能进行了考察。通过比较实验可知,不论是估计的MSE还是模型选择能力,默认参数的自适应多重阈值GAGA算法,都优于给出最优超参数情况下的自适应Lasso和OMP算法。然后,为了考察GAGA算法针对实际工程问题的处理能力,我们把GAGA算法用在了基于扩展泽尼克衍射理论的光学系统像差检测上,令检测精度大幅度提升。
【学位单位】：东北师范大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：F224
【部分图文】：

东北师范大学博士学位论文鉴反馈的思想，对于＿／?＝?１，．．．，先令ｂ?＝?０，到汐和冷，再更新￥令ｈ?＝?１／冷，然后得到新，是否会构成一个如画３的反馈环？；０估计得越越准，然后ｙＳ估计得就会越准，如此反复迭代。??建成功，那么即使我们不能写出以ＭＳＥ最小化能让估计的ＭＳＥ逐渐减小，去达到ＭＳＥ下界如下算ｔ去２。??

３６．５３?ｄＢ，?３３．９７?ｄＢ，?３２．００?ｄＢ，３０．６２?ｄＢ。＿一个噪声水平做一百次卖验，画??．．出‘?ｅｒｒｏｒｂａｒ如图４所示。??２５?Ｉ?１?？?１?１?１?ｉ?ｒｌ?ＳＩＳ??Ｔ?Ｔ?Ｔ?Ｉ?ｆ?Ｉ?－?ＬＳＥ（ｐ＞ｎ）??—ＲｉｄｇｅＲｅｇ??２０?圓?，?］?Ｉ?Ｔ?—?—ＣＶＸ??＾?Ｔ?１?Ｉ?］■?｜?＂?＾？ＯＭＰ??Ｅ?＂?ｉ?Ｉ?１?＿＿?ＭＭａｇｉｃ??＝３?ｉｓ?？?ｉ?Ａ?１?４１?ｉ?？??ｃ??Ｖ）??ｏ??—１０?？?■??ｏ??ｃ??Ｃ３??①?５?＿?■??〇?？?—ｉ——！■?ｉ?ｉ?ｉ?Ｈ??－〇?１?＊＊＊＊＊＊＊?－??－０．５?０?０．５?１?１．５?２?２．５?３?３．５??Ｎｏｉｓｅ?ＳＴＤ??斷４：模型预选择方法的测试??图４中，ＬＳＥ〇?＞?？）和ＲｉｄｇｅＲｅｇ曲线基本Ｍ合；ＣＶＸ和ｌｌｍａｇｉｃ曲线基本??重合，效果最好的是．０ＭＰ。??

５．２．１高斯噪声情况??首先测试读出噪声为髙斯噪声的情况，分别用１０次多项式来拟合线性函数，??二次函数，三次函数，结果如图１４，１５，１６所示。??１０?＿??５?．丨??：：?一－?＼??‘?〇?〇??Ｔｒｕｅ??一，－?－?ＧＡＧＡ??乂?一?削?Ｌａｓｓｏ???Ｌｓｅ??／??■?１０??？?＊?＊?？?＊??－３?－２?－１?０?１?２??Ｘ??图１４：当真实曲线是一次曲线时，用１０次多项式拟合含有高斯噪声的观测数据??
【参考文献】

相关期刊论文 前2条

1 王松桂,杨爱军;协方差改进法及其应用[J];应用概率统计;1998年01期

2 王松桂,杨振海;协方差改进估计的Pitman优良性[J];科学通报;1995年01期

本文编号：2857699