基于MCP惩罚的AdaBoost集成剪枝技术的研究

发布时间：2020-04-28 00:06

【摘要】：AdaBoost是一种有力的集成学习方法,能将一系列低预测精度的弱学习器结合成为一个高预测精度的强学习器。然而,与其它集成学习方法相似,AdaBoost也需要使用大量的基学习器来产生最终的预测结果,因此当数据维度较高或集成规模较大时,构建AdaBoost集成模型对计算机的内存空间产生了挑战。回归模型中的特征选择方法能够显著地降低数据维度,并且在集成学习中也已证明了其有效性。通过对集成模型进行剪枝,我们能够产生一个规模更小,精度却更高的集成模型。在本文中,我们提出使用最小最大凹度惩罚函数(MCP)对AdaBoost模型进行集成剪枝,在简化集成模型的同时改进预测精度。本文首先使用MCP惩罚的逻辑回归对高维数据进行变量筛选处理,再使用AdaBoost集成方法进行建模,并以实验说明对高维数据使用MCP进行变量筛选不仅不会损害后续AdaBoost模型的性能,反而能提高其预测精度;在建立AdaBoost集成模型后,取其基学习器的预测结果作为逻辑回归中的预测矩阵,从而使用带有MCP惩罚项的逻辑回归对集成模型进行剪枝,MCP的剪枝效果将与LASSO与SCAD惩罚函数的效果作比较。在真实数据集上进行的实验结果表明,在有噪声数据集中,使用MCP函数进行集成剪枝得到良好的效果:在本文涉及到的所有六个有噪声数据集中,使用MCP剪枝后的模型均比原模型有更高的预测精度,同时其平均集成规模大幅降低至原模型的5%至20%,其总体效果也优于使用另外两个惩罚函数剪枝的模型。通过实验,本文得出以下结论:在使用AdaBoost进行高维数据的分类预测时,使用带MCP惩罚项的逻辑回归模型能够在缩小集成规模的同时提高模型表现。
【图文】：

决策树对特征空间的划分

三个惩罚函数
【学位授予单位】：江西财经大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP181;O212.1

【相似文献】

相关期刊论文 前10条

1 蒋焰;丁晓青;;基于多步校正的改进AdaBoost算法[J];清华大学学报(自然科学版)网络.预览;2008年10期

2 李军;闫佳佳;;基于KELM-AdaBoost方法的短期风电功率预测（英文）[J];控制工程;2019年03期

3 王伦;;Adaboost-SVM多因子选股模型[J];经济研究导刊;2019年10期

4 叶晓波;秦海菲;吕永林;;一种改进的Adaboost-BP算法在手写数字识别中的研究[J];大理大学学报;2019年06期

5 严智;张鹏;谢川;张钰林;李保军;;一种快速AdaBoost.RT集成算法时间序列预测研究[J];电子测量与仪器学报;2019年06期

6 李闻;王显博;;基于Adaboost算法的人脸检测的研究[J];中外企业家;2019年26期

7 李伟;严珂;陆慧娟;叶敏超;;基于Adaboost.RT算法的隧道沉降时间序列预测研究[J];中国计量大学学报;2019年03期

8 王玲娣;徐华;;AdaBoost的多样性分析及改进[J];计算机应用;2018年03期

9 杜瑞超;华继学;翟夕阳;李志鹏;;基于改进Real AdaBoost算法的软件可靠性预测[J];空军工程大学学报(自然科学版);2018年01期

10 王玲娣;徐华;;一种基于聚类和AdaBoost的自适应集成算法[J];吉林大学学报(理学版);2018年04期

相关会议论文 前10条

1 蔡念;金丰;阮恭勤;潘晴;许少秋;;基于AdaBoost算法的图像复原方法[A];第十五届全国图象图形学学术会议论文集[C];2010年

2 ;Using Skin Color and HAD-AdaBoost Algorithm for Face Detection in Color Images[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

3 Wen Feng;;A Novel Lips Detection Method Combined Adaboost Algorithm and Camshift Algorithm[A];2012年计算机应用与系统建模国际会议论文集[C];2012年

4 陆文聪;钮冰;金雨欢;;基于AdaBoost算法的亚细胞位置预测[A];中国化学会第26届学术年会化学信息学与化学计量学分会场论文集[C];2008年

5 陈宏伟;刘建伟;费向东;;一种半监督环境下的Adaboost算法[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

6 唐晓丹;苗振江;;基于AdaBoost和粒子滤波的目标跟踪[A];第十四届全国图象图形学学术会议论文集[C];2008年

7 于淼;李乃民;王宽全;贾丹兵;闫子飞;;基于AdaBoost的中医舌诊分类算法研究[A];第二次全国中西医结合诊断学术研讨会论文集[C];2008年

8 李晶;陈媛媛;;基于AdaBoost的车牌字符识别模型研究[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅰ）[C];2008年

9 张超;苗振江;;基于AdaBoost的面部信息感知[A];第十三届全国信号处理学术年会（CCSP-2007）论文集[C];2007年

10 郭翌;汪源源;;基于Adaboost算法的颈动脉粥样硬化判别方法[A];中国仪器仪表学会第十一届青年学术会议论文集[C];2009年

相关重要报纸文章 前1条

1 张阳;5G时代，，AI能走多远？[N];人民邮电;2019年

相关博士学位论文 前10条

1 刘冲;模拟电路故障诊断AdaBoost集成学习方法研究[D];大连海事大学;2011年

2 Ebenezer Owusu;[D];江苏大学;2014年

3 习文星;移动背景下视觉的行人检测、识别与跟踪技术研究[D];中国科学院研究生院(上海技术物理研究所);2015年

4 卢金娜;基于优化算法的径向基神经网络模型的改进及应用[D];中北大学;2015年

5 卢岩;交通监控中的运动人体目标检测与跟踪[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2011年

6 王小明;可变光照下人脸检测与识别研究[D];华东师范大学;2010年

7 孙元;多媒体语义检索关键问题研究[D];吉林大学;2010年

8 王颖;成熟microRNA识别及其功能预测方法研究[D];哈尔滨工程大学;2016年

9 吴暾华;面向中医面诊诊断信息提取的若干关键技术研究[D];厦门大学;2008年

10 高常鑫;基于上下文的目标检测与识别方法研究[D];华中科技大学;2010年

相关硕士学位论文 前10条

1 王珊珊;基于AdaBoost和ELM的语音情感识别研究[D];天津师范大学;2019年

2 郑伟华;基于MCP惩罚的AdaBoost集成剪枝技术的研究[D];江西财经大学;2019年

3 王成龙;基于AdaBoost算法的车载CAN总线报文异常检测[D];湖南师范大学;2019年

4 王强;基于AdaBoost回归树的电网基建投资模型研究[D];电子科技大学;2019年

5 赵云红;基于Adaboost改进的BP神经网络地表沉陷预测研究[D];西安科技大学;2019年

6 陈天昕;基于AdaBoost与SVM集成算法的高炉炉温状态解析[D];江西财经大学;2019年

7 李淑;人眼特征检测的疲劳驾驶算法研究[D];长江大学;2019年

8 周靖;基于机器学习的《红楼梦》作者问题研究[D];云南大学;2018年

9 刘树灿;基于BP_Adaboost算法的轨面状态识别研究[D];湖南工业大学;2019年

10 邓颀;人脸检测技术的研究与实现[D];杭州电子科技大学;2016年

本文编号：2642811