交替方向乘子法的安德森加速及其应用

发布时间：2022-05-08 10:33

　　许多工程应用问题都可以归结于优化问题,即给定目标函数和约束求解最小值.近年以来,随着科技的发展,一方面工程中所需要处理的数据量越来越大,从而要解决的优化问题的规模也越来越大,大规模优化的算法受到了更多的关注.另一方面,随着问题的复杂程度增大,在一些情况下目标函数是非凸并且非光滑的,这使得很多传统的基于梯度的优化方法失效.交替方向乘子法（ADMM）正是这样一种适用于大规模优化和非凸非光滑优化的一种算法.当目标函数可以分离成两个关于不同变量的函数之和,并且这两个变量之间有一个线性约束时,ADMM交替优化这两个变量以及对偶变量.一般来说,优化单个函数会显著比优化两个函数之和简单,实践中经常可以得到解析解或者能够并行优化.这些特点使得ADMM每一步的迭代代价非常低,从而适用于大规模优化.在整个优化过程中,ADMM并不需要这两个函数的梯度,取而代之的是两个函数的逼近映射（Proximal Mapping）.而对于很多函数而言,逼近映射计算代价很低,这也使得ADMM非常适用于非凸非光滑优化的情况.尽管ADMM已经在工程中得到了广泛应用,研究者发现它有一个明显的缺点.ADMM通常可以以很快的速度得到... 

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 引言
    1.2 相关工作
    1.3 文章的结构安排
第二章 预备知识
    2.1 非光滑分析
    2.2 ADMM
    2.3 DR分裂算法
    2.4 安德森加速
第三章 ADMM的安德森加速
    3.1 一般情况的安德森加速
    3.2 特殊结构的ADMM的加速
    3.3 ADMM的收敛性分析
    3.4 数值实验
    3.5 小结
第四章 基于DR分裂算法的ADMM的安德森加速
    4.1 背景介绍
    4.2 算法细节
    4.3 收敛性分析
    4.4 数值实验
    4.5 小结
第五章 总结和展望
    5.1 总结
    5.2 展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果


【参考文献】：
期刊论文
[1]Convergence of multi-block Bregman ADMM for nonconvex composite problems[J]. Fenghui WANG,Wenfei CAO,Zongben XU.  Science China（Information Sciences）. 2018(12)



本文编号：3651491