基于集成学习的特征选择算法的设计与实现

发布时间：2022-10-17 15:12

　　近年来随着计算成本和存储成本的降低,集成学习成为机器学习领域的一个热门方向,通过模型的组合,能同时获得模型在计算能力和计算准确度这两个方面的巨大突破。集成方法根据基学习器和训练数据的不同,主要分为异质集成和同质集成。目前,将集成学习的思想应用在特征选择上的相关算法较多,但大多数集成特征选择方法都赋予了基学习器相同的权重,事实上,不管是异质集成和同质集成,在训练过程中均会产生不同的基学习器,各个基学习器对于训练集的适应程度不同,因此,我们针对集成特征选择方法在该方面的不足,提出了不同的基于权重调节的集成特征选择方法。针对同质集成,本文提出了基于softmax的集成特征选择方法,我们利用softmax函数,结合每个基学习器对数据集的适应度,对基学习器的投票权重进行调节,对于适应度较好的基学习器,其投票权重较高,同时,本文对该方法相比于无权重调节的集成特征选择方法在泛化能力上的提升进行了理论分析,并通过实验验证了基于softmax函数的集成特征选择方法在泛化性能上要优于无权重调节的集成特征选择方法。针对异质集成,本文提出了基于遗传算法的集成特征选择方法,该方法利用遗传算法对基学习器权重向量进... 

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题的研究目的和意义
    1.2 国内外研究现状分析
        1.2.1 特征选择方法
        1.2.2 特征选择的集成方法
        1.2.3 小结
    1.3 论文主要研究内容
    1.4 论文内容及结构
第2章 基于SOFTMAX的集成特征选择方法
    2.1 引言
    2.2 算法框架
    2.3 基于SOFTMAX的集成特征选择方法
        2.3.1 基学习器差异性度量
        2.3.2 算法介绍
        2.3.3 算法分析
    2.4 实验结果与分析
    2.5 本章小结
第3章 基于遗传算法的集成特征选择方法
    3.1 引言
    3.2 相关工作
    3.3 问题定义
        3.3.1 遗传算法的构成要素
        3.3.2 适应度函数
        3.3.3 评价标准
    3.4 基于遗传算法的集成特征选择方法
        3.4.1 基于最优权值的集成特征选择方法
        3.4.2 选择性集成特征选择方法
        3.4.3 算法分析
    3.5 实验结果与分析
    3.6 本章小结
第4章 基于粒子群算法的集成特征选择方法
    4.1 引言
    4.2 问题定义
        4.2.1 粒子群算法的构成要素
        4.2.2 适应度函数
    4.3 基于粒子群算法的集成特征选择
    4.4 算法分析
    4.5 实验结果与分析
    4.6 本章小结
结论
参考文献
致谢


【参考文献】：
期刊论文
[1]马尔科夫链的粒子群优化算法全局收敛性分析[J]. 任子晖,王坚,高岳林.  控制理论与应用. 2011(04)
[2]粒子群算法中随机数参数的设置与实验分析[J]. 刘志雄,梁华.  控制理论与应用. 2010(11)
[3]粒子群算法中惯性权重的实验与分析[J]. 王俊伟,汪定伟.  系统工程学报. 2005(02)

硕士论文
[1]基于最小最大规则的集成策略研究[D]. 周国静.南京邮电大学 2015



本文编号：3692307