基于决策森林的回归模型方法研究及应用

发布时间：2021-03-19 15:49

　　回归模型是一种通过样本学习数据之间的复杂关系,并利用学习到的关联关系进行预测的数学模型,已被广泛应用于计算机视觉领域中的图像分类、目标检测等方向。然而,为了实现越来越好的检测或分类效果,回归模型的复杂度不断增加,带来了计算量的急剧增加以及对训练样本更加苛刻的需求。一方面,为了提升效果,大量的特征被引入学习模型,各个特征在学习模型中的作用却不得而知。过多的输入特征不仅使得运行效率降低而且增加了过拟合的风险,同时少数有效特征的作用也会被掩盖在许多无用特征之下。另一方面,基于深度神经网络的回归模型的学习过程严重依赖于参数调节,导致其在数据样本不均衡、有效样本较少等情况下难以应用。从这两方面出发,本文首先从计算机的角度模拟视觉注意机制,通过不同的特征选择方法分析不同的特征和特征组合对视觉注意的影响。然后,针对小样本图像数据集问题,从提高特征表达学习能力、减小计算量、降低调参的依赖度入手,借鉴了决策树的构造思想,研究了基于决策森林的级联回归模型,并构建了目标检测系统。主要的研究内容包括:1.针对视觉显著性预测问题,基于特征选择方法分析了各个特征对显著性预测的作用。基于构建的一组候选特征集进行的实... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：170 页

【学位级别】：博士

【部分图文】：

图１．１视觉通路示意图??在人类视觉系统中，眼睛是接收视觉信息的入口，大脑对信息进行编码、??

经过上述分析可以明确决策树的预测过程，即由上到下、逐级划分的过程，??各级的非叶子节点根据其特征属性对数据集进行划分并得到最终的分类结果。??假设ｒ与Ｚ）分别代表特征集与训练数据集，具体步骤如下：??步骤１：选择一个划分训练数据集最好的特征？，并将其从特征集ｒ中移除；??步骤２：构建树节点并将其属性设置为特征【，此时可以划分多个子数据集，??并将其应用于之后的迭代过程。当子数据集达到叶子节点时决策树不再生长，??结束数据集的划分过程。停止生长的情况主要有如下儿种：??①数据集ｒ内没有特征元素；??②子数据集数目较低；??③子数据集继续划分得到的信息熵增益量很小。??

下面将从随机森林的理论基础、随机森林模型投票过程、随机森林的优缺??点对随机森林进行分析。??（１）随机森林理论基础??从１．２．２．小节中可知，决策森林虽然构建简单，但存在一定的不足：??①在建立单裸决策树模型时，训练数据集可能会引起过拟合现象，解决这个??问题需要进行特殊处理，即进行一定的剪枝操作，但是剪枝不够合理也会降低??决策树的预测效果。??②特征属性选择过程中利用局部贪婪法，采用从特征集合内选取最佳的特??征进行节点构建，该方式可能会出现局部最优解。??针对以上问题，在决策森林算法的基础上，随机森林应运而生。??


本文编号：3089822