机器学习中的大规模优化算法

发布时间：2021-08-03 17:28

　　机器学习方法为计算机提供了强大的数据分析能力,其在数据挖掘、计算机视觉、自然语言处理等许多领域得到了极为广泛的应用。诸多机器学习模型的训练过程均可看做解大规模优化问题,其求解过程往往涉及大量矩阵操作。高质量的矩阵近似可以大幅度提升算法的速度并减小空间开销。本文关注优化算法中的矩阵近似,通过对机器学习中常见的矩阵类型设计近似算法以提升算法的效率;同时从优化角度对矩阵近似建模,提出更合理的近似方法。这些算法可应用于高斯过程回归、在线凸优化、分解机模型等问题。本文的贡献概括如下:·本文提出了关于一般酉不变范数的正则化矩阵近似形式。正则化矩阵近似在减小近似误差的同时,还拥对正定矩阵的近似结果可逆,减小条件数的性质,为优化算法中常见的求逆操作提供了很大便利。·本文提出了谱平移Nystr?m方法,其通过对核矩阵的采样得到一个原矩阵的近似结果。对于小特征值较大的核矩阵,该算法的近似误差明显小于传统Nystr?m方法。我们将其应用于高斯过程回归,得到了好于现有算法的结果。·本文提出了鲁棒频繁方向方法,其通过额外的正则项对频繁方向方法和增量奇异值分解进行了改进。将其应用于在线牛顿法中,可自适应选择二阶信... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：126 页

【学位级别】：博士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 课题背景和意义
        1.1.1 机器学习中的优化问题
        1.1.2 如何提升优化算法的效率
    1.2 数学符号定义及矩阵和优化基础
    1.3 机器学习中的优化算法
    1.4 论文组织和结构
第二章 正则化矩阵近似及其在优化算法中的应用
    2.1 基于酉不变范数的正则化矩阵近似
    2.2 基于Nystr?m方法的正则化矩阵近似
        2.2.1 标准Nystr?m方法与蓝本模型
        2.2.2 正则化Nystr?m方法
        2.2.3 谱平移Nystr?m方法
        2.2.4 实验分析
    2.3 在线正则化矩阵近似
        2.3.1 增量SVD算法
        2.3.2 频繁方向方法
        2.3.3 鲁棒频繁方向算法
        2.3.4 实验分析
    2.4 在线牛顿法及相关近似算法
        2.4.1 在线凸优化问题
        2.4.2 在线凸优化的基本算法
        2.4.3 自适应的概略在线牛顿法
        2.4.4 实验分析
    2.5 本章小结
第三章 矩阵参数的机器学习模型及其优化算法
    3.1 支持矩阵机模型
        3.1.1 问题描述和相关工作
        3.1.2 支持矩阵机
        3.1.3 学习算法
        3.1.4 实验分析
    3.2 基于概略追随正则化领袖算法的在线分解机
        3.2.1 在线分解机模型和相关工作
        3.2.2 概略追随正则化领袖方法
        3.2.3 理论分析
        3.2.4 实验分析
    3.3 在线矩阵乘法近似
        3.3.1 基于频繁方向的矩阵乘法近似
        3.3.2 实验分析
全文总结
参考文献
致谢
攻读学位期间发表的学术论文
攻读学位期间参与的项目



本文编号：3320031