基于Lasso的对偶稀疏支持向量机

发布时间：2023-04-01 13:46

　　支持向量机(Support Vector Machine,SVM)是Vapnik等人提出的一种以统计学习理论为基础、以解决有限样本为目标的机器学习新方法,因其泛化能力强等特点而广泛使用.通过转化SVM的目标函数、优化等式约束,可将其简化为最小二乘支持向量机(Least Squares SVM,LSSVM).这一改进有效的降低了计算复杂度,但是LSSVM使得几乎所有的样本点都作为支持向量参与计算,解向量稀疏性的丧失将影响分类速度.因此,LSSVM模型的稀疏性问题逐渐被大家关注并研究.目前已出现一些稀疏化方法,包括L₀和L₁稀疏化方法,但如何高效的实现解向量的稀疏性仍是需要进一步研究的问题;同时,模型中罚参数的选择问题也是很有价值的一个研究方向.本文考虑了分类问题的对偶稀疏支持向量机模型,理论上首次给出了该分类模型中L₁-罚参数选择的上界.此外,对大规模数据集给出了一种新的样本筛选方法,该方法适用于类中心连线与分类超平面较为垂直的情况.最后,利用UCI数据库中的5个数据集及双曲螺旋样本完成了初步的数值实验,并将其应用到了博文...

【文章页数】：47 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 文本分类研究现状
        1.2.2 SVM与LSSVM研究现状
    1.3 论文主要研究内容及结构安排
2 最小二乘支持向量机及三种稀疏模型
    2.1 最小二乘支持向量机
    2.2 简化稀疏最小二乘支持向量机
    2.3 L₀-稀疏对偶支持向量机
    2.4 L₁-稀疏对偶支持向量机
3 基于Lasso的对偶稀疏支持向量机模型
    3.1 基于Lasso的对偶稀疏支持向量机及L₁罚参数的上界
    3.2 大规模数据集的样本筛选
4 模型应用与数值实验
    4.1 UCI数据集的分类效果
        4.1.1 数据处理及参数选择
        4.1.2 L₁罚参数上界的数值验证
        4.1.3 分类实验结果
    4.2 双曲螺旋样本的分类效果
        4.2.1 数据处理及参数选择
        4.2.2 分类实验结果
    4.3 预处理后的大规模数据集Waveform上的分类效果
        4.3.1 数据处理及参数选择
        4.3.2 分类实验结果
    4.4 博文内容判别
        4.4.1 数据处理及参数选择
        4.4.2 博文内容判别实验结果
结论与展望
参考文献
攻读硕士学位期间发表学术论文情况
致谢



本文编号：3777250