min-max问题的截断凝聚光滑拟牛顿法及其在模糊神经网络学习中的应用
发布时间：2021-10-21 14:45
min-max问题是一类重要的非光滑优化问题,在投资组合、工程设计、大型故障诊断等很多实践领域中有着广泛的应用。对于求解无约束min-max问题的凝聚光滑化方法的研究尽管取得了非常丰富的成果,但是随着大数据时代的到来,计算技术的进步和数据收集、传输和存储技术的不断升级,使得实际面临问题的规模越来越大,因此,研究大规模min-max问题的高效求解方法仍然是一个重要的课题。本文主要研究了求解大维数且带有大量组成函数的min-max问题的凝聚光滑拟牛顿法,及引入凝聚光滑技术训练带有min和max逻辑算子的模糊神经网络。我们通过深入研究求解min-max问题的截断凝聚光滑牛顿法,利用拟牛顿修正公式获得近似的Hessian矩阵,结合简单的凝聚参数调整准则,提出高效的求解大规模的无约束min-max问题的拟牛顿法。并且通过引入凝聚光滑技术,研究带有min和max算子的模糊神经网络的光滑梯度法,提出了渐进光滑的梯度凝聚光滑训练算法,有效的减缓算法病态现象的发生,克服了以往光滑训练算法使得网络训练过早停止或训练过慢的问题。本文的主要内容概括为以下几个方面:1.在第一章中,主要介绍本文所研究的min-m...
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：117 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
1 绪论
1.1 研究问题及其应用背景
1.2 相关理论与算法介绍
1.3 本文的研究动机及研究思路
1.4 本文的结构安排
2 解min-max问题的截断凝聚光滑拟牛顿法
2.1 背景介绍
2.2 预备知识
2.2.1 凝聚光滑
2.2.2 截断凝聚光滑
2.3 截断凝聚光滑拟牛顿法
2.3.1 Armijo线搜索下的截断凝聚光滑拟牛顿法
2.3.2 截断凝聚光滑对称秩-1信赖域法
2.4 数值实验
2.5 小结
3 解大规模凸min-max问题的截断凝聚光滑BFGS法
3.1 背景介绍
3.2 截断凝聚光滑BFGS法
3.2.1 一个新的截断凝聚光滑BFGS算法
3.2.2 几个重要结果
3.2.3 算法的全局收敛性
3.2.4 内迭代序列的R-线性收敛和超线性收敛
3.2.5 数值实验中ε_j的选择
3.3 数值实验
3.4 小结
4 渐进近似框架下的凝聚光滑max-min模糊神经网络梯度算法
4.1 背景介绍
4.2 max-min模糊神经网络输出的光滑近似
4.2.1 max-min模糊神经网络的结构
4.2.2 max-min函数的二次凝聚光滑近似
4.2.3 带有渐进近似框架的凝聚光滑梯度训练算法
4.3 算法的收敛性结果
4.4 数值模拟结果
4.5 算法的收敛性结果证明
4.5.1 预备知识
4.5.2 算法的全局收敛性
4.6 小结
5 结论和展望
参考文献
攻读博士学位期间发表学术论文情况
致谢
作者简介
【参考文献】：
期刊论文
[1]不等式约束极大极小问题的一个新型模松弛强次可行SQCQP算法[J]. 王福胜,张瑞. 计算数学. 2018(01)
[2]不等式约束极大极小问题的可行下降束方法[J]. 简金宝,唐春明,唐菲. 中国科学:数学. 2015(12)
[3]An entropy based central cutting plane algorithm for convex min-max semi-infinite programming problems[J]. ZHANG LiPing,FANG Shu-Cherng,WU Soon-Yi. Science China（Mathematics）. 2013(01)
[4]一类极大极小优化问题的信赖域算法[J]. 欧宜贵,邓谋杰,洪世煌. 工程数学学报. 2004(08)
[5]A Combined Homotopy Interior Point Method for Nonconvex Programming with Pseudo Cone Condition[J]. 于波,刘庆怀,冯果忱,孙以丰. Northeastern Mathematical Journal. 2000(04)
[6]An Interior Point Path-following Method for Nonconvex Programming With Quasi Normal Cone Condition[J]. 刘庆怀,于波,冯果忱. 数学进展. 2000(04)
[7]AN AGGREGATE FUNCTION METHOD FOR NONLINEAR PROGRAMMING[J]. 李兴斯. Science in China,Ser.A. 1991(12)
博士论文
[1]几类非光滑问题的光滑化算法研究[D]. 叶峰.西安电子科技大学 2012
[2]解几类数学规划问题的光滑化同伦方法[D]. 周正勇.大连理工大学 2011
[3]min-max-min规划的凝聚同伦方法及其在数据挖掘中的应用[D]. 熊慧娟.大连理工大学 2009
[4]有限、半无限和广义半无限极大极小问题的若干算法[D]. 张淑婷.吉林大学 2006
硕士论文
[1]约束极大极小问题的一类非线性Lagrange方法的研究[D]. 刘翔锋.武汉理工大学 2016
本文编号：3449188
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：117 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
1 绪论
1.1 研究问题及其应用背景
1.2 相关理论与算法介绍
1.3 本文的研究动机及研究思路
1.4 本文的结构安排
2 解min-max问题的截断凝聚光滑拟牛顿法
2.1 背景介绍
2.2 预备知识
2.2.1 凝聚光滑
2.2.2 截断凝聚光滑
2.3 截断凝聚光滑拟牛顿法
2.3.1 Armijo线搜索下的截断凝聚光滑拟牛顿法
2.3.2 截断凝聚光滑对称秩-1信赖域法
2.4 数值实验
2.5 小结
3 解大规模凸min-max问题的截断凝聚光滑BFGS法
3.1 背景介绍
3.2 截断凝聚光滑BFGS法
3.2.1 一个新的截断凝聚光滑BFGS算法
3.2.2 几个重要结果
3.2.3 算法的全局收敛性
3.2.4 内迭代序列的R-线性收敛和超线性收敛
3.2.5 数值实验中ε_j的选择
3.3 数值实验
3.4 小结
4 渐进近似框架下的凝聚光滑max-min模糊神经网络梯度算法
4.1 背景介绍
4.2 max-min模糊神经网络输出的光滑近似
4.2.1 max-min模糊神经网络的结构
4.2.2 max-min函数的二次凝聚光滑近似
4.2.3 带有渐进近似框架的凝聚光滑梯度训练算法
4.3 算法的收敛性结果
4.4 数值模拟结果
4.5 算法的收敛性结果证明
4.5.1 预备知识
4.5.2 算法的全局收敛性
4.6 小结
5 结论和展望
参考文献
攻读博士学位期间发表学术论文情况
致谢
作者简介
【参考文献】：
期刊论文
[1]不等式约束极大极小问题的一个新型模松弛强次可行SQCQP算法[J]. 王福胜,张瑞. 计算数学. 2018(01)
[2]不等式约束极大极小问题的可行下降束方法[J]. 简金宝,唐春明,唐菲. 中国科学:数学. 2015(12)
[3]An entropy based central cutting plane algorithm for convex min-max semi-infinite programming problems[J]. ZHANG LiPing,FANG Shu-Cherng,WU Soon-Yi. Science China（Mathematics）. 2013(01)
[4]一类极大极小优化问题的信赖域算法[J]. 欧宜贵,邓谋杰,洪世煌. 工程数学学报. 2004(08)
[5]A Combined Homotopy Interior Point Method for Nonconvex Programming with Pseudo Cone Condition[J]. 于波,刘庆怀,冯果忱,孙以丰. Northeastern Mathematical Journal. 2000(04)
[6]An Interior Point Path-following Method for Nonconvex Programming With Quasi Normal Cone Condition[J]. 刘庆怀,于波,冯果忱. 数学进展. 2000(04)
[7]AN AGGREGATE FUNCTION METHOD FOR NONLINEAR PROGRAMMING[J]. 李兴斯. Science in China,Ser.A. 1991(12)
博士论文
[1]几类非光滑问题的光滑化算法研究[D]. 叶峰.西安电子科技大学 2012
[2]解几类数学规划问题的光滑化同伦方法[D]. 周正勇.大连理工大学 2011
[3]min-max-min规划的凝聚同伦方法及其在数据挖掘中的应用[D]. 熊慧娟.大连理工大学 2009
[4]有限、半无限和广义半无限极大极小问题的若干算法[D]. 张淑婷.吉林大学 2006
硕士论文
[1]约束极大极小问题的一类非线性Lagrange方法的研究[D]. 刘翔锋.武汉理工大学 2016
本文编号：3449188
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3449188.html
