线性回归模型中的异常值检测与稳健性估计
发布时间：2021-01-04 17:06
基于数据建立的统计模型往往由于受到异常值的影响而缺乏稳定性,使得异常值检测与稳健性估计在模型构建中变得尤为重要.异常值一般分为两种,即在响应值Y上的异常和在预测值X上的异常,前者通常称为竖直异常点,后者通常称为高杠杆值点.本文对常用的异常值检测与稳健性估计方法进行研究,着重探讨在线性回归模型中的异常值检测与稳健性估计问题,并对高维（多元）数据下的正态性检验进行了分析.在第一部分,我们利用残差空间超椭球等高面的概念构造了对已有异常值检测方法的改进方法,并得到稳健的回归参数估计.首先,我们分别利用基于边际相关系数的高维数据影响度量指标（HIM）和基于距离相关系数的HDC判别方法对数据中的异常值进行初步筛选,将数据集中的点分为正常点与异常点两类,然后在初始正常点集的基础上利用稳健的最小截断估计（LTS）方法和残差空间超椭球等高面构造了对初始正常点集误判点的纠正方法,并对初始异常点集中各点的异常值概率进行计算,以进一步纠正误判入异常点集的正常点,最终对异常值检测的准确率进行了进一步的提升.通过对两种数据结构下三种类型异常数据的模拟与真实实例的分析,我们证明了所提方法的有效性,在对异常值进行检测...
【文章来源】：兰州大学甘肃省 211工程院校 985工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图２．１利用各方法对经过三类异常值干扰的ＭＡ结构数据进行异常值检测结果的经??验势（Ｐ＝５）??
?＼?〇ｅ?＿?—?／?Ｚ??ａ?〇ｙ?＼、、、、义ａ?：ｐ?乂一一ａ?ｊ?一一—??＼?／＞’?（??、?０．６－??０．４?－?＼?＜／＇??＼?０２????０－３－?．、?０?５－???????１?一．一????、乂?＿－－一”????一．??、ｉ?ｋ－－＂?ｒ＂￣??０．０１?０．０２?０．０５?０．０８?０．１?０．６?１．２?１．８?２．４?３．０?０．４?０．５?０．６?０．７?０．８??Ｗ?Ｋ?Ｉ??图２．２利用各方法对经过三类异常值干扰的ＡＲ结构数据进行异常值检测结果的经??验势（ｐ＝５）??图２．１－２．４分别展示了利用ＨＤＣ，?ＨＩＭ，?ＭＩＰ，?ＨＤＣＰ和ＨＩＭＰ这五种方法对被三??种不同类型异常值干扰后的两类数据进行异常值检测的结果，其中图２．１和图２．２展??示了ｐ?＝?５时的情况，图２．３和图２．４展示了ｐ?＝?１５时的情形．??（１）从图２，１中我们可以看到，在ＭＡ数据结构下，当ｐ?＝?５时，随着不同类型异常??值异常程度的増加，各方法所得异常值检测结果的经验势都有所增加．其中，??在ＳＰ和ＲＰ干扰下，当〇；约小于０．０２５和《约大于２时，ＭＩＰ的检测效果与ＨＤＣ和ＨＩ??Ｍ方法相比都有所提升，但都不如本文方法所得到的效果更好．在ＰＰ干扰下，随??着ｔ值的增加，本文算法的经验势以最快的速度增加并收敛到１．相比较而言｝尽??管ＨＤＣ，?ＨＩＭ和ＭＩＰ的经验势都有所提高，但仍然显著小于ＨＤＣＰ和ＨＩＭＰ．可??以看到，相比于其它三种方法，本文算法更能有效识别出在ＰＰ干扰下的异常值．??１８??
＇、?？?ＨＩＭＰ?ｔ?＾??０．４－?ＨＩＭＰ??－?＼?＼?〇５?，??＼一＿／??Ｗ?／?。：??〇－２?＼?０．３－?????＊?ｒ—＊—??＼?「一?／?？’?一??、．、?一ｆ－ｚ－－￣ｚｒ±ｚｚｚｚ－ｚ＾＝＝＝＾—＇￥＇ｃＳ－－￣＾??＼?０．２??一?０．０??？－?？?１??０．０１?０．０２?０．０５?０．０８?０．１?０．６?１２?１．８?２．４?３．０?０．４?０．５?０．６?０．７?０．８??（Ｊ?Ｋ?Ｌ??图２．３利用各方法对经过三类异常彳复干扰的ＭＡ结构数据进行异常值检测结果的经??验势（ｐ＝１５）??（２）在ＡＲ数据结构下当１？?＝?５时，在ＳＰ干扰下，各方法的经验势曲线与图２．１中的??曲线趋势相似．尽管当ｗ趋近于０．１时，ＨＤＣＰ和ＨＩＭＰ的的经验势接近甚至略??逊色于ＨＤＣ和ＨＩＭ，但整体而言＾?ＨＤＣＰ和ＨＩＭＰ的检测效果依然要优于所比??较的方法．在ＲＰ干扰下，随着《值的增大，ＨＤＣ和ＭＩＰ的经验势也逐渐增大，??且ＭＩＰ的检测效果整体好于ＨＩＭ和ＨＤＣ，但都不如ＨＤＣＰ和ＨＩＭＰ的效果更好．??此时，在ＰＰ干扰下，ＨＤＣ和ＨＩＭ两方法的检测效果与图２．１中的ＭＡ情形相比更??好，但同样低于ＨＤＣＰ和ＨＩＭＰ的经验势曲线．而ＭＩＰ的检测效果依然最低．??（３）当ｐ?＝?１５时，在ＭＡ结构下，各方法的经验势曲线在ＳＰ干扰下与ｐ?＝?５时的趋势??大体相似．随着ｗ取值的增大，ＭＩＰ的经验势依然以最大的幅度降至最低．当千??扰类型为ＲＰ时，ＨＩＭ的结果好于ＭＩＰ，尽管ＭＩＰ的经验势在／ｉ较大时超过ＨＤＣ，??但都显著小于本文中的方法．此
本文编号：2957115
【文章来源】：兰州大学甘肃省 211工程院校 985工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图２．１利用各方法对经过三类异常值干扰的ＭＡ结构数据进行异常值检测结果的经??验势（Ｐ＝５）??
?＼?〇ｅ?＿?—?／?Ｚ??ａ?〇ｙ?＼、、、、义ａ?：ｐ?乂一一ａ?ｊ?一一—??＼?／＞’?（??、?０．６－??０．４?－?＼?＜／＇??＼?０２????０－３－?．、?０?５－???????１?一．一????、乂?＿－－一”????一．??、ｉ?ｋ－－＂?ｒ＂￣??０．０１?０．０２?０．０５?０．０８?０．１?０．６?１．２?１．８?２．４?３．０?０．４?０．５?０．６?０．７?０．８??Ｗ?Ｋ?Ｉ??图２．２利用各方法对经过三类异常值干扰的ＡＲ结构数据进行异常值检测结果的经??验势（ｐ＝５）??图２．１－２．４分别展示了利用ＨＤＣ，?ＨＩＭ，?ＭＩＰ，?ＨＤＣＰ和ＨＩＭＰ这五种方法对被三??种不同类型异常值干扰后的两类数据进行异常值检测的结果，其中图２．１和图２．２展??示了ｐ?＝?５时的情况，图２．３和图２．４展示了ｐ?＝?１５时的情形．??（１）从图２，１中我们可以看到，在ＭＡ数据结构下，当ｐ?＝?５时，随着不同类型异常??值异常程度的増加，各方法所得异常值检测结果的经验势都有所增加．其中，??在ＳＰ和ＲＰ干扰下，当〇；约小于０．０２５和《约大于２时，ＭＩＰ的检测效果与ＨＤＣ和ＨＩ??Ｍ方法相比都有所提升，但都不如本文方法所得到的效果更好．在ＰＰ干扰下，随??着ｔ值的增加，本文算法的经验势以最快的速度增加并收敛到１．相比较而言｝尽??管ＨＤＣ，?ＨＩＭ和ＭＩＰ的经验势都有所提高，但仍然显著小于ＨＤＣＰ和ＨＩＭＰ．可??以看到，相比于其它三种方法，本文算法更能有效识别出在ＰＰ干扰下的异常值．??１８??
＇、?？?ＨＩＭＰ?ｔ?＾??０．４－?ＨＩＭＰ??－?＼?＼?〇５?，??＼一＿／??Ｗ?／?。：??〇－２?＼?０．３－?????＊?ｒ—＊—??＼?「一?／?？’?一??、．、?一ｆ－ｚ－－￣ｚｒ±ｚｚｚｚ－ｚ＾＝＝＝＾—＇￥＇ｃＳ－－￣＾??＼?０．２??一?０．０??？－?？?１??０．０１?０．０２?０．０５?０．０８?０．１?０．６?１２?１．８?２．４?３．０?０．４?０．５?０．６?０．７?０．８??（Ｊ?Ｋ?Ｌ??图２．３利用各方法对经过三类异常彳复干扰的ＭＡ结构数据进行异常值检测结果的经??验势（ｐ＝１５）??（２）在ＡＲ数据结构下当１？?＝?５时，在ＳＰ干扰下，各方法的经验势曲线与图２．１中的??曲线趋势相似．尽管当ｗ趋近于０．１时，ＨＤＣＰ和ＨＩＭＰ的的经验势接近甚至略??逊色于ＨＤＣ和ＨＩＭ，但整体而言＾?ＨＤＣＰ和ＨＩＭＰ的检测效果依然要优于所比??较的方法．在ＲＰ干扰下，随着《值的增大，ＨＤＣ和ＭＩＰ的经验势也逐渐增大，??且ＭＩＰ的检测效果整体好于ＨＩＭ和ＨＤＣ，但都不如ＨＤＣＰ和ＨＩＭＰ的效果更好．??此时，在ＰＰ干扰下，ＨＤＣ和ＨＩＭ两方法的检测效果与图２．１中的ＭＡ情形相比更??好，但同样低于ＨＤＣＰ和ＨＩＭＰ的经验势曲线．而ＭＩＰ的检测效果依然最低．??（３）当ｐ?＝?１５时，在ＭＡ结构下，各方法的经验势曲线在ＳＰ干扰下与ｐ?＝?５时的趋势??大体相似．随着ｗ取值的增大，ＭＩＰ的经验势依然以最大的幅度降至最低．当千??扰类型为ＲＰ时，ＨＩＭ的结果好于ＭＩＰ，尽管ＭＩＰ的经验势在／ｉ较大时超过ＨＤＣ，??但都显著小于本文中的方法．此
本文编号：2957115
本文链接：https://www.wllwen.com/shoufeilunwen/benkebiyelunwen/2957115.html
