基于递归特征消除方法的随机森林算法

发布时间：2018-02-13 14:24

  本文关键词： 随机森林 递归 特征消除 变量选择 机器学习　出处：《统计与决策》2017年21期 　论文类型：期刊论文

【摘要】：基于随机森林算法中的相关预测因子进行变量选择,在高维回归或分类框架中,变量选择是一项艰巨的任务,甚至在高度相关的预测中变得更加具有挑战性,文章提供了在回归模型上置换重要性测量的理论研究,这使我们能够描述相关性预测和排名的重要性之间的影响。相比于原始随机森林算法使用重要性排名做变量选择,研究结果使用了递归特征消除(RFE)方法做变量选择。通过实验证明了RFE-RF方法对机器学习算法的正确预测有很大的帮助。
[Abstract]:Variable selection based on correlation prediction factors in stochastic forest algorithm is a difficult task in high-dimensional regression or classification framework, and even becomes more challenging in highly correlated prediction. This paper provides a theoretical study of permutation importance measurement on regression model, which enables us to describe the influence between correlation prediction and rank importance. Compared with the original random forest algorithm, importance ranking is used to select variables. The results show that the recursive feature cancellation (RFE-RF) method is used to select variables, and the experimental results show that the RFE-RF method is of great help to the correct prediction of machine learning algorithms.
【作者单位】： 兰州交通大学电子与信息工程学院;
【基金】：国家自然科学基金资助项目(61163010) 甘肃自然科学基金资助项目(1308RJZA111)
【分类号】：F224

【相似文献】

相关期刊论文 前8条

1 孟杰;;随机森林模型在财务失败预警中的应用[J];统计与决策;2014年04期

2 刘微;罗林开;王华珍;;基于随机森林的基金重仓股预测[J];福州大学学报(自然科学版);2008年S1期

3 钱争鸣;李海波;于艳萍;;个人住房按揭贷款违约风险研究[J];经济研究;2010年S1期

4 高仁祥,张世英,刘豹;基于神经网络的变量选择方法[J];系统工程学报;1998年02期

5 杨璐,高自友;用神经网络进行变量选择[J];北方交通大学学报;1999年03期

6 赵进文;模型构建中变量选择的影响分析[J];东北财经大学学报;2002年06期

7 李扬;朱建锋;谢邦昌;;变量选择方法及其在健康食品市场研究中的应用探究[J];统计与信息论坛;2013年10期

8 齐晓丽;梁慧超;冯彦妍;;回归模型构建中变量选择的研究[J];河北工业大学学报;2009年06期

相关博士学位论文 前1条

1 岳明;基于随机森林和规则集成法的酒类市场预测与发展战略[D];天津大学;2008年

相关硕士学位论文 前10条

1 韩燕龙;基于随机森林的指数化投资组合构建研究[D];华南理工大学;2015年

2 冯盼峰;基于随机森林两阶段逐步变量选择算法的研究及应用[D];福建农林大学;2016年

3 吴恒;基于LDA和随机森林的活跃微博预测研究[D];合肥工业大学;2017年

4 陈奕佳;基于随机森林理论的北京市二手房估价模型研究[D];北京交通大学;2015年

5 李丽;基于随机森林算法的企业信用风险评价研究[D];西南财经大学;2012年

6 彭国兰;随机森林在企业信用评估中的应用[D];厦门大学;2007年

7 杨蕴涵;多种分类模型在个人信用评估中的应用[D];重庆大学;2015年

8 赵冬琦;基于变量选择的股指期货对股票市场影响的实证研究[D];兰州大学;2015年

9 温征;纵向和生存数据联合模型的一个变量选择问题[D];云南师范大学;2016年

10 黄亚慧;偏t正态数据下基于最小一乘的回归估计和变量选择[D];重庆大学;2016年

，

本文编号：1508366