决策树及增强算法在实际问题中的应用

发布时间：2020-12-22 22:31

　　决策树是机器学习中较为常用的一种算法,是一种强大的分类器。决策树的基本原理是利用树形结构对特征属性以及潜在结果之间的关系建立起的模型。与神经网络,支持向量机不同,利用决策树进行建模后,预测模型容易理解,预测结果容易解释,并且对缺失值及变量的分布不敏感,因此几乎能够在任何类型的数据集上进行建模,被广泛的应用于个人信用评估、医学诊断、自然语言处理等各个领域。在实际问题中拟合模型时,要考虑犯不同类型错误时的代价,并且寻找方法对模型进行优化。在本文中采用决策树拟合模型,主要采用的基本算法为C5.0算法及CART算法,并对每种算法分别加入Boosting增强算法提高模型性能。在传统的比较模型性能时,往往采用的方法为比较模型的准确率或者错误率。但是在实际问题中,比较不同模型的性能时,不能单纯比较模型在测试集上准确率,测试集的选取有一定偶然性,并且只比较模型的准确性对于有犯错代价的问题时,不足以说明模型性能的好坏。因此本文采用模型的灵敏度作为样本,并通过假设检验方法来进行模型的比较。由于各组样本之间不独立,因此在比较多组模型的灵敏度时,采用Friedman非参数假设检验方法来比较模型的性能,检验结果... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
引言
1理论
    1.1 决策树
        1.1.1 决策树划分选择
        1.1.2 剪枝
        1.1.3 缺失值处理
    1.2 Boosting算法
    1.3 主成分分析
    1.4 评价模型的指标
        1.4.1 单个模型的性能度量
        1.4.2 不同模型之间的比较检验
2实证分析
    2.1 数据简介
    2.2 数据前期预处理
        2.2.1 识别缺失值
        2.2.2 探索数据
        2.2.3 验证变量之间的相关关系
        2.2.4 对连续变量进行多重共线性检验
    2.3 模型拟合
        2.3.1 C5.0模型拟合
        2.3.2 增强算法
        2.3.3 CART算法模型
        2.3.4 CART算法中加入增强算法
    2.4 比较模型
结论
参考文献
附录A 程序
致谢


【参考文献】：
期刊论文
[1]基于决策树的改进AdaBoost算法在车辆检测中的应用[J]. 李斌,王凯,徐英杰,刘赏.  软件导刊. 2017(05)
[2]基于改进决策树分类的Android恶意软件检测[J]. 鲍美英.  软件. 2017(02)
[3]面向大数据分析的决策树算法[J]. 张棪,曹健.  计算机科学. 2016(S1)
[4]基于决策树算法的竞争对手识别模型研究[J]. 王知津,周鹏,韩正彪.  情报理论与实践. 2013(03)
[5]基于多分类器组合的个人信用评估模型[J]. 向晖,杨胜刚.  湖南大学学报(社会科学版). 2011(03)
[6]数据挖掘中的决策树算法比较研究[J]. 林向阳.  中国科技信息. 2010(02)
[7]精炼决策树模型在个人信用评估中的应用[J]. 朱毅峰,孙亚南.  统计教育. 2008(01)
[8]基于决策树的个人住房贷款信用风险评估模型[J]. 刘军丽,陈翔.  计算机工程. 2006(13)
[9]数据挖掘中决策树算法的最新进展[J]. 韩慧,毛锋,王文渊.  计算机应用研究. 2004(12)
[10]数据挖掘中决策树算法的探讨[J]. 唐华松,姚耀文.  计算机应用研究. 2001(08)



本文编号：2932550