数据自适应的核学习理论研究及应用

发布时间：2021-06-25 17:31

　　核方法作为机器学习领域中一类重要的非线性方法,广泛地应用在分类、回归、聚类、降维等诸多问题中。目前关于核方法研究的关键是在于如何设计出或学习到更灵活的核函数,用以描述数据的分布特性。本文工作围绕核学习展开,主要从非参数核学习、非正定核学习、核近似问题三个方面进行研究,涵盖了学习算法的逼近理论研究、相似性学习的算法研究以及在目标跟踪领域中的应用研究。研究成果主要集中在以下几个方面:在非参数核学习方面,本文提出了一种基于数据自适应的非参数核学习框架,对预先给定的核矩阵直接施加一个数据自适应矩阵,采用优化的方式灵活地学习到该矩阵的每一个元素,从而得到一个相当灵活的非参数核矩阵。该核学习框架可嵌入至支持向量机（support vector machines,SVM）与支持向量回归（support vector regression,SVR）模型中,用于分类与回归问题,可有效地增加类别之间的间隔并减小模型的泛化误差。针对该优化问题的求解,本文论证了目标函数的梯度是Lipschitz连续的,从而将核学习的训练过程与SVM/SVR中参数优化统一至一个求解框架中。此外,针对非参数核的核近似问题,本文拓... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：194 页

【学位级别】：博士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景
    1.2 理论基础
    1.3 相关工作
        1.3.1 正定核学习算法
        1.3.2 非正定核学习算法
        1.3.3 核近似算法
    1.4 本文主要贡献
    1.5 本文组织结构
第二章 数据自适应的非参数核学习算法
    2.1 本章引言
    2.2 用于分类问题的DANK模型描述
    2.3 DANK模型的优化算法
        2.3.1 DANK模型目标函数的连续性
        2.3.2 基于Nesterov加速的可微优化算法
    2.4 用于回归问题的DANK模型描述
    2.5 DANK模型的核近似算法
    2.6 实验结果对比与分析
        2.6.1 分类结果
        2.6.2 回归结果
    2.7 本章小结
第三章 用于非参数核的新增样本扩张算法
    3.1 本章引言
    3.2 hyper-RKHS上的正则化回归模型
    3.3 hyper-RKHS上正则化回归算法的学习率结果
    3.4 本章主要定理证明
        3.4.1 误差分解
        3.4.2 估计样本误差和输出误差
        3.4.3 学习率推导
    3.5 实验结果及比较
        3.5.1 UCI数据集分类结果
        3.5.2 LFW人脸识别数据集分类结果
        3.5.3 大规模数据集分类结果
    3.6 本章小结
第四章 基于非正定核的正则化学习算法的求解与分析
    4.1 本章引言
    4.2 基于非正定核的逻辑斯蒂回归模型
    4.3 非精确求解的凹凸规划
        4.3.1 IKLR模型中的CCICP算法
        4.3.2 CCICP-GD收敛性分析
        4.3.3 CCICP-SGD的收敛性分析
        4.3.4 CCICP算法的收敛阶分析
    4.4 RKKS上的基于最小二乘的正则化回归算法
        4.4.1 RKKS上岭回归算法的求解
        4.4.2 RKKS上岭回归算法的学习率结果
    4.5 本章主要定理证明
        4.5.1 误差分解
        4.5.2 估计假设误差
        4.5.3 样本误差估计
        4.5.4 学习率推导
    4.6 实验结果对比与分析
        4.6.1 实验设置
        4.6.2 UCI数据集分类结果
        4.6.3 Yale人脸数据集识别结果
        4.6.4 非精确求解参数?的分析
        4.6.5 CCICP算法的收敛性
        4.6.6 初始化对结果的影响
        4.6.7 关于CCICP-SGD的讨论
    4.7 本章小结
第五章 基于双变分贝叶斯框架的非正定核近似算法
    5.1 本章引言
    5.2 预备知识
        5.2.1 随机傅里叶特征算法简述
        5.2.2 狄利克雷过程的构造
    5.3 RFF-DIGMM模型的图模型表示
    5.4 RFF-DIGMM模型的变分推断方法
        5.4.1 基于截断狄利克雷过程的平均场方法
        5.4.2 RFF-DIGMM模型变分参数的推导
    5.5 实验结果对比与分析
        5.5.1 实验设置
        5.5.2 核近似算法的逼近结果
        5.5.3 核近似算法的分类结果
        5.5.4 MNIST数据集识别结果
        5.5.5 RFF-DIGMM模型参数分析
    5.6 本章小结
第六章 基于核化编码的目标跟踪算法
    6.1 本章引言
    6.2 基于核化版本的非负局部编码模型
        6.2.1 LLC算法回顾
        6.2.2 基于核化版本的非负近似LLC算法
        6.2.3 多字典集成
        6.2.4 ?2范数正则化的理论分析
    6.3 基于KNMC的跟踪框架
        6.3.1 观测模型
        6.3.2 遮挡检测机制
    6.4 实验结果对比与分析
        6.4.1 实验设置
        6.4.2 评价指标
        6.4.3 OTB数据集跟踪结果
        6.4.4 缺项分析与参数分析
    6.5 本章小结
第七章 总结与展望
    7.1 全文总结
    7.2 研究展望
参考文献
致谢
攻读学位期间发表的学术论文
攻读学位期间参与的项目


【参考文献】：
硕士论文
[1]大规模机器学习：矩阵低秩近似与在线学习[D]. 李沐.上海交通大学 2011



本文编号：3249631