加权样本分类算法设计和基于加法逻辑回归模型的Boosting算法设计

发布时间：2021-07-20 16:17

　　Bagging方法是一种完全基于减少方差而设计的集成机制,尽管该方法在分类问题中表现优秀,但其在减少模型偏差方面存在明显不足。此后,越来越多的统计学家开始尝试能够同时减少偏差和方差的集成机制,进而诞生了诸如DiscreteAdaBoost、Rea.lAdaBoost等众多Boosting算法。这些Boosting算法由于其优秀的表现而受到了统计学家的广泛关注,很多统计学家开始尝试解释Boosting算法成功的统计学原理。Friedman等人尝试利用加法逻辑回归模型,解释了Boosting算法成功的根源之后,越来愈多的Boosting算法被提出。Boosting算法针对加权样本进行训练,具体地,首先训练能够对加权样本进行拟合的“弱学习器”,然后通过一定的机制,将这些弱学习器集成为一个综合学习器。针对分类问题,本文对Cart决策树的决策机制进行了改进,提出了一种逻辑树模型;另一方面基于集成学习思想,本文提出了两种新的Boosting算法。本文首先探讨了针对加权样本的现有弱学习器的算法原理,并提出一种基于分位逻辑回归思想的逻辑树模型。该模型针对加权样本分类问题能够更好地利用样本权重信息。然后... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

图３．２：当ａ：Ｓ５０时，ｙ?＝?０．１ａ；?＋?ｅ，当ｘ＞５０时，ｙ?＝?１０?—０．１ａ：，ｅ代表随机误差，其中基于提高??样本纯度原则获取的分位点为８０．２，基于线性模型拟合残差选择的分位点为５０

４．１．２选择Ｓ损失的理由??当使用Ｓｉｇｎ（ｉ＾作为预测时，分别给出０－１损失、指数损失、二次损失、极大似??然和Ｓ损失的损失函数曲线图，如图４．１。??由图中可以看出：??？常用的概率二次损失（图中标注的二次损失）和Ｓ损失是非常接近的，因为??概率二次损失为??Ｌ２?＝?（ｙ＋ｌ－，⑷??（２?—?（ｌ?＋?ｅＦ（＜??＝?＜＼ｉ＾）２，?ｙ?＝?－ｉ??、（１＋６＾（〇〇）２，?ｙ?＝?＾??＝（?－?）２??＾?１?＿｜＿?ｅｙＦ（ｘ）?＾?７??其中，平方内的数一定是正数，因此和Ｓ损失的又半部分具有同样的形式。??３４??


本文编号：3293161