基于稀疏学习的多不定核特征选择算法研究

发布时间：2023-04-27 22:15

　　特征选择是指从原始特征中选择出一些最有效特征以降低数据集维度的过程,其能够降低模型复杂度,减少过拟合的风险。近年来,关于特征选择的算法研究有很多,其中多核学习特征选择(Multiple Kernel Learning for Feature Selection,MKL-FS)算法利用核函数去刻画特征的复杂性质,在线性和非线性特征选择算法中表现都比较突出。但是,MKL-FS算法存在两个局限性:(1)核函数的选择不够丰富;(2)特征选择的结果不够稀疏。一方面,MKL-FS算法要求核函数满足正定性的约束,其一定程度上约束了核函数丰富的表达能力。最新研究表明,不定核能够更好地刻画数据之间的关系,在许多实际应用中取得了比正定核更好的效果。但是,由于不定核的非凸性,现有的MKL-FS算法通常无法适用,目前相关的研究也比较少。另一方面,MKL-FS算法通常使用l1范数来得到稀疏的核组合系数。但是l1范数仅仅是l0范数的一种凸近似,有时并不能得到l0范数正则化问题的理想解,从而导致精度损失。而l0范数的优化问题是NP-hard,因此许多线性特征选择方法利用l0范数的各种非凸近似来替代l0范数,并且取得...

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 基于稀疏学习的特征选择研究现状
    1.3 不定核应用的研究现状
    1.4 本文的研究动机
    1.5 本文的研究目标及内容
    1.6 本文的组织结构
第二章 基于稀疏学习的特征选择算法介绍
    2.1 预备知识
        2.1.1 问题定义
        2.1.2 核方法
    2.2 线性特征选择算法
        2.2.1 l₁-SVM
        2.2.2 ElasticNet-SVM
        2.2.3 PIE-SVM
        2.2.4 EP-SVM
    2.3 多核学习特征选择算法
        2.3.1 RFMKL
        2.3.2 GMKL
        2.3.3 HSIC Lasso
    2.4 本章小结
第三章 基于l₁范数的多不定核特征选择算法研究
    3.1 模型构建
    3.2 模型优化
        3.2.1 凸差规划和凸差算法
        3.2.2 求解不定核支持向量机系数
        3.2.3 求解核组合系数
        3.2.4 收敛性分析
    3.3 模型扩展
        3.3.1 Leverage Score采样
        3.3.2 多类分类特征选择
    3.4 实验验证
        3.4.1 实验设计
        3.4.2 小规模二类分类特征选择
        3.4.3 大规模二类分类特征选择
        3.4.4 多类分类特征选择
    3.5 本章小结
第四章 基于l₀范数的多不定核特征选择算法研究
    4.1 模型构建
    4.2 模型优化
        4.2.1 求解不定核支持向量机系数
        4.2.2 求解核组合系数
        4.2.3 收敛性分析
    4.3 实验验证
        4.3.1 实验设计
        4.3.2 实验结果
    4.4 本章小结
第五章 结束语
    5.1 本文工作小结
    5.2 进一步的工作
致谢
参考文献
作者简介



本文编号：3803169