具有可分结构非凸问题的局部最优化方法

发布时间：2023-04-25 02:56

　　具有可分结构非凸问题在实际生活中屡见不鲜,这其中包括气象预测,人工神经网络(ANN),风险投资预测,集群信息研究等。由于该问题存在着变量大,数据存储困难的特点,采用已有的经典优化算法(如最速下降法,牛顿法,拟牛顿法)都不能有效的解决该问题。近几十年,对于针对可分问题(如函数可分,变量区域可分等)的理论研究引起了学者们的关注。现有的求解该问题的主要方法包括增量学习算法,并行计算(如并行算法)和分布式优化算法。在这些方法中,增量学习算法和并行计算在求解可分问题中得到广泛应用。当目标函数是非凸(可能不可微)的情形时,求解这类可分问题的全局最优解就会变得更加困难。因此,如何快速求解这样问题的一个稳定解成为大家热议的话题。基于这一点,一些研究者针对非凸可分问题提出了特殊的包含局部强凸逼近算法SCA,结合增量学习算法或者并行算法来设计能求解原问题的局部优化方法。本文,针对非凸函数可分问题,我们试图采用增量学习的思想框架,结合更加特殊的包含原函数二阶信息的序列强凸逼近算法;对变量区域可分问题,则采用改进的算法BCD。值得注意的是,针对这种问题,我们设计了一种新的局部伪凸逼近方法,并结合了不同种类的选...

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
中文摘要
英文摘要
1 绪论
    1.1 引言
    1.2 增量算法
    1.3 并行计算及并行算法
        1.3.1 并行计算
        1.3.2 并行算法
    1.4 序列逼近函数
        1.4.1 MM算法
        1.4.2 算法Successive Convex Approximation
    1.5 本论文的研究思路及工作
2 对目标函数可分问题的随机增量算法
    2.1 引言
    2.2 预备知识
    2.3 一个随机增量二次逼近算法:RIQAM
    2.4 数值算例
    2.5 小结
3 对非凸变量可分问题的局部伪凸逼近算法
    3.1 引言
    3.2 预备知识
    3.3 多项式约束多项式规划问题的最优化方法
        3.3.1 伪凸逼近
    3.4 对于特殊非凸问题伪凸逼近算法
        3.4.1 随机的伪凸逼近算法
        3.4.2 混合随机并行的的伪凸逼近算法
    3.5 数值算例
        3.5.1 DC问题
        3.5.2 Styblinski-Tang Function问题
    3.6 小结
4 对非凸非光滑函数的改进随机二次BCD算法和并行随机弱凸逼近算法
    4.1 引言
    4.2 预备知识
    4.3 局部逼近的环坐标下降算法
        4.3.1 局部强逼近的环状坐标下降算法
        4.3.2 局部弱凸逼近的环坐标下降算法
    4.4 数值算例
        4.4.1 非光滑Styblinski-Tang Function问题
        4.4.2 非光滑Rastrigin Function问题
    4.5 小结
5 结论及展望
参考文献
附录A:作者攻读硕士学位期间发表论文及科研情况
致谢



本文编号：3800559