几类优化问题的BB型算法研究

发布时间：2020-06-26 17:13

【摘要】：Barzilai-Borwein (BB)算法是一种求解无约束优化问题的有效算法.因其易于实现、要求存储量小以及实际计算效果好等优点,BB算法吸引了很多学者的关注.BB算法已经被推广到约束优化和非光滑优化,并且在支持向量机、图像处理和压缩感知等领域有广泛的应用.针对不同的问题设计高效的BB型算法是近年来的研究热点之一然而,很多优化问题的目标函数都是非凸、非光滑甚至非Lipschitz连续的.目前,求解这些问题的BB型算法还很少.本文研究几类常见的优化问题,包括光滑凸约束优化问题、非光滑无约束优化问题、带有非负约束的非光滑优化问题和非Lipschitz约束优化问题等,分别给出了相应的BB型算法.主要成果概括如下：1.研究光滑凸约束优化问题,其目标函数连续可微且约束是闭凸集.已有的投影梯度算法的收敛性分析大多要求目标函数的梯度是Lipschitz连续的.然而,很少有算法利用梯度的Lipschitz常数信息.我们利用梯度的Lipschitz常数构造当前迭代点处目标函数的二次正则近似,结合投影策略和非单调线搜索,提出了二次正则投影BB算法,并证明了算法的全局收敛性.我们将新算法应用于非负矩阵分解并与已有算法做了对比.虽然新算法每次迭代需要计算两次梯度和投影,但是数值结果表明新算法可以在较少迭代次数和较短的时间内得到满意的解.2.研究一类非光滑的无约束优化问题,其目标函数是一个光滑函数与一个凸函数的和.这类问题可以看作光滑凸约束优化问题的推广.我们结合非单调线搜索,提出一种BB型算法,并分析了算法的全局收敛性.证明了当目标函数的光滑项是凸函数时,新算法是次线性收敛的；当光滑项是严格凸函数时,新算法的收敛速度是R-线性的.我们将新算法应用于求解l2-l1问题、图像去模糊问题、分组可分正则问题和全变分正则问题等,数值结果表明算法是有效的.3.考虑一类带有非负约束的非光滑优化问题,结合光滑技术和有效集策略,我们提出了一种光滑仿射尺度BB算法,并证明了在合适的条件下算法收敛到稳定点,该稳定点与光滑函数相关.我们将新算法应用于求解随机线性互补问题(SLCP)的期望残差极小化(ERM)模型,与光滑投影梯度法的相比,新算法需要的迭代次数更少,花费的CPU时间更短并且解的精度更高.4.我们对一类非Lipschitz约束优化问题进行了研究,其目标函数是一个光滑函数与一个非Lipschitz连续函数的和.结合光滑技术和投影策略,提出了一种光滑投影BB算法,证明了在合适的条件下算法收敛到尺度化稳定点.当目标函数局部Lipschitz连续时,选择合适的光滑函数可以保证算法收敛到Clarke稳定点.我们将新算法应用于求解l2-lp问题、图像恢复问题和SLCP的ERM模型等,数值结果表明新算法是有效的.
【学位授予单位】：西安电子科技大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：O224
【图文】：

９８．８逦４９．４逦１．８１逦２．７９８２逦７．９５ｅ－Ｑ５逡逑停止条件为式（３－１２）．表３．５给出了邋６＝邋ＩＣｒ５时，１０个问题的平均结果．可Ｗ看出，逡逑算法３．１比ＳｐａＲＳＡ需要更少的ＣＰＵ时间和矩阵向量乘积次数．图３．２和图３．３分别给逡逑出了取么和＇00正则项的重构结果．逡逑４１逡逑

（ｃ）邋０闲＝ｒ＜0＇５，邋ｒ邋＝邋０．００５逦（ｄ）把的，ｒ邋＝邋０．０１逡逑图５．１邋ＳＰＢＢ算法用于恢复６４邋ｘ邋６４的打ｒｃ］ｅ图像逡逑差分矩阵公Ｇ吸ｒｘｎ２的第Ｕ于：逡逑

【相似文献】

相关期刊论文 前10条

1 李德胜;张才仙;陈淑铭;;选择策略对进化算法性能的影响[J];科技资讯;2007年11期

2 梁民,孙仲康;多层前馈神经网络的快速学习算法及其仿真研究[J];系统工程与电子技术;1993年09期

3 王忠;陈伏虎;;基于阵元域数据的联合检测与跟踪算法[J];声学学报(中文版);2007年06期

4 苏开乐;关于D.W.Etherington的扩充产生算法的一个注记[J];计算机工程与科学;1998年04期

5 江宇闻;;Overcomplete ICA算法研究[J];中山大学研究生学刊(自然科学、医学版);2004年02期

6 王杰;王加银;;Mean Shift算法的收敛性讨论[J];北京师范大学学报(自然科学版);2008年05期

7 胡梦佑;陈钧量;;快速加权滑窗RLS格型算法[J];中山大学学报(自然科学版);1992年02期

8 裴炳南;吴显鼎;张明武;;MLMS算法的伪收敛现象[J];河南科学;1993年Z1期

9 张承慧;一种工业过程时变参数估计新算法——修正目标函数法[J];中国工程科学;2001年11期

10 丁海军;李峰磊;;蜂群算法在TSP问题上的应用及参数改进[J];中国科技信息;2008年03期

相关会议论文 前10条

1 何敏;陈中显;梅松涛;;蚁群算法的研究与进展[A];中国计量协会冶金分会2010年会论文集[C];2010年

2 高玮;;免疫连续蚁群算法[A];第二十六届中国控制会议论文集[C];2007年

3 唐乾玉;韩曾晋;;基于扰动分析的优化算法[A];1994中国控制与决策学术年会论文集[C];1994年

4 金成勋;周广禄;郭恒业;;对ICP算法中稳定采样的研究[A];立体图象技术及其应用研讨会论文集[C];2005年

5 陈元琰;闫友彪;罗晓曙;;REM算法的改进[A];广西计算机学会2005年学术年会论文集[C];2005年

6 范瑛;;改进蚁群算法结合BP网络用于入侵检测[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年

7 万丽芬;钟炎平;;约束LMS算法研究[A];第二十届电工理论学术年会论文集[C];2008年

8 云飞;薛青;姚义军;;改进型LMBP算法在军事数据分析中的应用研究[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

9 朱双东;艾智斌;阎夏;;BP网络学习算法的改进方案探析[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

10 唐乾玉;陈翰馥;韩曾晋;;串行生产线的参数优化[A];1994年中国控制会议论文集[C];1994年

相关博士学位论文 前10条

1 杨扩军;TIADC系统校准算法研究与实现[D];电子科技大学;2015年

2 黄亚魁;几类优化问题的BB型算法研究[D];西安电子科技大学;2015年

3 王可心;大规模过程系统非线性优化的简约空间理论与算法研究[D];浙江大学;2008年

4 鲍吉锋;平衡问题和优化问题若干算法的收敛性分析[D];浙江大学;2013年

5 韩飞;基于先验信息编码的约束学习算法研究[D];中国科学技术大学;2006年

6 袁东辉;蚁群算法在飞行模拟器平台中若干应用问题的研究[D];吉林大学;2011年

7 厉丹;视频目标检测与跟踪算法及其在煤矿中应用的研究[D];中国矿业大学;2011年

8 滕月阳;正电子发射断层成像中的数学模型与算法[D];东北大学;2012年

9 张晓伟;全局优化的若干随机性算法[D];西安电子科技大学;2008年

10 郑洪英;基于进化算法的入侵检测技术研究[D];重庆大学;2007年

相关硕士学位论文 前10条

1 杨展;城轨列车自动调整系统模型与算法研究[D];西南交通大学;2015年

2 马英钧;基于人工蜂群算法的约束优化问题研究[D];华中师范大学;2015年

3 钱其;电网谐波和间谐波功率的计量算法研究[D];中国科学技术大学;2015年

4 蒋玉冰;无线通信信号到达角跟踪算法研究[D];电子科技大学;2014年

5 孙方亮;基于粒子群与中心引力的一种新混合算法及应用[D];西安电子科技大学;2014年

6 刘坤;人工植物优化算法混合策略的研究及应用[D];太原科技大学;2011年

7 魏红凯;人工蜂群算法及其应用研究[D];北京工业大学;2012年

8 刘婷婷;基于反馈的多目标人工蜂群算法研究[D];东北大学;2013年

9 李云彬;多目标人工蜂群算法的研究与应用[D];东北大学;2012年

10 李长荣;面向非线性优化问题的学习算法的研究[D];华东师范大学;2015年

本文编号：2730632