一类新的BFGS算法

发布时间：2020-02-26 13:51

【摘要】：最优化方法作为寻找给定条件下目标函数最优解的数学方法,目前广泛应用于科学研究、工业设计、军事国防、政府决策和公共管理等各个领域.特别是随着计算机计算能力和数据处理能力的进一步提高,最优化方法已经成为现代社会的一个重要决策工具.在最优化方法中,无约束最优化问题的求解方法是基础,其中BFGS型拟牛顿法以其计算效率高和数值稳定性好等优点受到学者们的广泛青睐,进一步改进BFGS算法的努力从未中断,本文的工作就是在这一研究方向进行了初步探索.本文提出了一类新的BFGS算法.受张建中和Biggs等学者工作的启发,首先对拟牛顿方程Bk+1Sk=yk的右端项yk进行了扰动,以yk*=yk+δkSk代替了Yk,其次,对BFGS算法中的矩阵校正格式又做了一点改进,即在项 之前添加了一个动态参数γk.借鉴Byrd和Nocedal对经典BFGS方法收敛性的证明方法,在相同的假设下,我们给出了本文算法的全局收敛性和局部超线性收敛速率.即当目标函数是二阶连续可微的一致凸函数时,我们的算法具有全局收敛性,并且具有R-线性收敛速率,这里只要求我们引入的参数满足0≤δk≤δmax,0γmin≤γk≤γmax即可,这表明本文算法提供了一个更一般的算法理论框架.如果进一步假设目标函数f(x)的Hessian矩阵G(x)在x*处局部Lipschitz连续,且γk=1,δk=K‖Sk‖b 时,我们的算法具有局部超线性收敛性,这里K和A都是常数,b≥1.在本文的算法中,我们采用的不精确线搜索策略为仅利用Armijo准则的简单方法和后退准则.对无约束最优化问题测试库中大量函数的计算结果表明,本文算法效率和数值稳定性都较好.通过与经典BFGS算法的比较看出,当问题的规模较大时,本文算法有一定的优势.数值实验结果还表明γk =1是保证本文算法中步长趋向于1的前提条件.
【学位授予单位】：内蒙古工业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：O224

【参考文献】

相关期刊论文 前10条

1 史战文;唐仙芝;杨冠雨;肖运海;;求解矩阵极大特征值问题的保守BFGS算法[J];河南大学学报(自然科学版);2016年02期

2 Yun-hai XIAO;Ting-feng;Zeng-xin WEI;;Global Convergence of a Modified Limited Memory BFGS Method for Non-convex Minimization[J];Acta Mathematicae Applicatae Sinica(English Series);2013年03期

3 胡晓东;袁亚湘;章祥荪;;运筹学发展的回顾与展望[J];中国科学院院刊;2012年02期

4 韦增欣;谢品杰;顾能柱;;一类拟牛顿算法的收敛性[J];广西科学;2006年04期

5 肖运海,叶魂;无约束最优化问题中具有全局收敛性的修改的BFGS方法(英文)[J];广西科学;2003年04期

6 戴_g虹,袁亚湘;A class of globally convergent conjugate gradient methods[J];Science in China,Ser.A;2003年02期

7 侯建文,张海斌;一种新修正拟牛顿法的超线性收敛性[J];河北师范大学学报;2000年04期

8 焦宝聪;一类改进BFGS算法及其收敛性分析[J];数学的实践与认识;1999年02期

9 袁亚湘;From quasi-Newton methods to non-quasi-Newton methods[J];Progress in Natural Science;1997年01期

10 袁亚湘,彭积明;ψ函数的性质和它的应用[J];计算数学;1994年01期

相关硕士学位论文 前6条

1 徐莹莹;拟牛顿算法的分析与研究[D];河南理工大学;2015年

2 屈晓军;非凸无约束优化问题的修正拟牛顿算法[D];湖南大学;2014年

3 金红艳;求解大规模优化问题的有限记忆拟牛顿法[D];湖南大学;2013年

4 陈姗;求解无约束最优化问题的一个新的拟牛顿方法[D];南京理工大学;2013年

5 陈奎林;一类改进的BFGS算法及其收敛性分析[D];重庆大学;2012年

6 何伟;基于新拟牛顿方程的改进的BFGS方法[D];南京理工大学;2007年

，

本文编号：2583011