基于参数损失核正则化学习算法的误差分析

发布时间：2023-11-30 17:14

　　随着信息技术和人工智能的发展,机器学习研究受到越来越多学者的关注,而定量地分析机器学习算法的误差是统计学习理论的重要研究内容之一.近年来,一些研究表明含参数的可调节损失函数能有效改善核正则化算法的学习性能,本文主要对一些基于含参数损失的核正则化学习算法进行研究,给出了学习算法的误差界,并具体分析了参数对算法学习性能的调节作用.具体内容如下:1.在实际应用中,异常样本点对学习算法性能的影响不容忽视,有时候甚至一个异常点就可能对整个算法的学习效果带来很大影响.在回归问题中,为了减轻异常样本点对回归性能的影响,本文对基于含同伦参数损失函数的鲁棒核正则化回归算法进行了研究.由于含同伦参数的损失函数是一个拟凸函数,通常的凸分析方法不适用,论文采用基于拟凸函数的分析技巧对算法进行误差分析,给出了具体的误差界,异常样本点对学习算法性能的影响程度也量化地得到了体现.2.为减轻异常样本点对分类性能的影响,本文对基于含参数鲁棒损失的核正则化分类学习算法进行了研究,给出了额外错分误差和额外泛化误差之间的重要比较不等式关系,并用凸分析方法进行了具体误差分析,分析结果显示异常点对分类算法性能的影响可以通过适当选...

【文章页数】：164 页

【学位级别】：博士

【文章目录】：
中文摘要
英文摘要
第1章 引言
    1.1 选题背景及研究意义
        1.1.1 选题背景
        1.1.2 研究意义
    1.2 文献综述
        1.2.1 经典核正则化学习算法的研究现状
        1.2.2 核正则化在线学习算法的研究现状
        1.2.3 核正则化成对学习算法的研究现状
    1.3 研究内容和主要贡献
        1.3.1 研究内容和研究方法
        1.3.2 主要创新点
第2章 基于参数损失核正则化回归算法的误差分析
    2.1 再生核Hilbert空间及其性质
    2.2 基于参数损失的核正则化回归模型
    2.3 主要结论
    2.4 主要结论的证明
        2.4.1 与Hilbert空间上凸分析理论相关的一些概念及其性质
        2.4.2 一些重要概率不等式
        2.4.3 一些引理
        2.4.4 误差估计主要定理的证明
第3章 基于参数损失核正则化分类算法的误差分析
    3.1 基于参数损失的核正则化分类算法
    3.2 误差分析
        3.2.1 比较不等式
        3.2.2 算法的误差估计
    3.3 主要结论的证明
第4章 基于参数损失核正则化成对学习算法的误差分析
    4.1 核正则化成对学习算法的一般框架
    4.2 基于参数损失的核正则化成对学习模型
    4.3 误差分析
        4.3.1 主要结论
        4.3.2 模拟试验
    4.4 主要结论的证明
第5章 基于参数二次损失核正则化在线学习算法的误差分析
    5.1 再生核Hilbert空间上的梯度
    5.2 核正则化在线学习算法的一般框架
    5.3 基于参数二次损失的核正则化在线学习算法
    5.4 学习序列的收敛性
        5.4.1 主要结论
        5.4.2 一些引理
        5.4.3 主要结论的证明
    5.5 算法的误差分析
第6章 基于参数二次损失核正则化在线成对学习算法的误差分析
    6.1 核正则化在线成对学习算法的一般框架
    6.2 基于参数二次损失的核正则化在线成对学习算法
    6.3 学习序列的收敛性
        6.3.1 主要结论
        6.3.2 一些引理
        6.3.3 主要结论的证明
    6.4 算法的误差分析
        6.4.1 主要结论
        6.4.2 一些引理
        6.4.3 主要结论的证明
    6.5 成对Mercer核的构造
第7章 结论与展望
    7.1 主要结论
    7.2 不足之处与未来工作展望
参考文献
攻读博士学位期间发表和已投稿的论文
致谢



本文编号：3868870