基于随机Gauss-Seidel方法的几种随机算法

发布时间：2021-06-27 17:07

　　本文基于求解最小二乘问题的随机Gauss-Seidel方法提出了三种新的算法.我们首先将GRGS算法的贪婪选取工作空间的策略应用到求解岭回归最小二乘问题的变体RGS方法上,提出了一种新的算法并称之为VGRGS算法.我们还考虑了含有松弛因子的VGRGS方法,理论分析和实验数据表明新的方法在求解岭回归问题所对应的超定系统时比VRGS算法更加有效.此外我们还提出了两种对REGS算法的改进,第一种是通过使用贪婪的列选择方式以期望在每一次迭代中可以选择出更有效的列指标从而达到对REGS方法的加速,第二种则是将随机选择行和列改为仅随机选择矩阵的列,而以一种给定的方式去循环遍历矩阵的行.对于这两种修改的方案,我们在理论上都给出了一个比REGS算法更好的收敛上界.我们的数值实验也表明了这两种方法的可行性与有效性. 

【文章来源】：兰州大学甘肃省 211工程院校 985工程院校 教育部直属院校

【文章页数】：49 页

【学位级别】：硕士

【文章目录】：
中文摘要
Abstract
第一章 概述
    1.1 符号表及缩略词
    1.2 问题背景及研究现状
    1.3 本文的主要研究内容和组织结构
第二章 预备知识
    2.1 GRGS算法和REGS算法
    2.2 求解岭回归问题的几个随机算法
第三章 用于求解岭回归问题的VGRGS算法及其含有松弛因子的情况
    3.1 VGRGS算法的提出
    3.2 含有松弛因子的VGRGS算法
第四章 两种修改的REGS算法
    4.1 GREGS算法
    4.2 PREGS算法
第五章 数值实验
    5.1 VGRGS方法的数值实验
    5.2 两种修改的REGS算法的数值实验
第六章 总结与展望
参考文献
致谢



本文编号：3253253