基于动量BP算法的收敛性分析

发布时间：2021-11-22 12:20

　　人工神经网络在现代科学发展的多个领域都展现出了巨大的潜力,以误差反向传播算法（BP算法）作为学习算法的BP神经网络应用十分广泛,而在BP算法中添加动量项也已经是一种很常见的改进BP算法的方法,可以称之为动量BP算法。影响动量BP算法学习效率的因素有很多,包括网络的层数、激活函数和误差函数等,在实际应用中,经常通过不断尝试改变一些因素来使算法表现得更好,但是关于改变因素后算法的收敛性分析往往不能第一时间跟上。在本文中,我们首先对包含多隐藏层的带动量项的BP神经网络算法的收敛性进行了分析。当学习率为常数,动量系数在满足一定条件下自适应变化时,我们给出了算法的弱收敛结果以及强收敛结果,并对这两种收敛结果都给出了相应的理论证明。之后我们又进一步对带惩罚项的动量BP算法的收敛性进行分析,同样地,我们也给出了算法的弱收敛结果以及强收敛结果,并对收敛结果进行了理论证明。 

【文章来源】：华东理工大学上海市 211工程院校 教育部直属院校

【文章页数】：42 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景
    1.2 概念说明
    1.3 问题描述及文章结构
第2章 含双隐藏层的动量BP算法
    2.1 算法展开
    2.2 收敛情况
第3章 收敛性证明
    3.1 误差函数展开
    3.2 一些有用的引理
    3.3 定理证明
第4章 带惩罚项的动量BP算法
    4.1 算法展开及收敛情况
    4.2 一些有用的引理
    4.3 定理证明
第5章 结束语
参考文献
致谢
发表及完成论文


【参考文献】：
期刊论文
[1]改进的BP神经网络算法的研究与应用[J]. 富宇,李倩,刘澎.  计算机与数字工程. 2019(05)
[2]基于BP神经网络辅助的组合导航算法研究[J]. 李小燕,李杰,冯凯强,杨雁宇,晁正正.  电子器件. 2018(06)
[3]基于BP神经网络PID算法的风力摆控制系统的设计[J]. 袁建平,施一萍,江鹏,蒋宇,贾日晶,姚德亮.  测控技术. 2018(11)
[4]BP神经网络算法的改进及应用[J]. 王美玲,王念平,李晓.  计算机工程与应用. 2009(35)
[5]一种具有自适应动量因子的BP算法[J]. 张会生,吴微.  大连海事大学学报. 2008(04)
[6]CONVERGENCE OF GRADIENT METHOD WITH MOMENTUM FOR BACK-PROPAGATION NEURAL NETWORKS[J]. Wei Wu Department of Applied Mathematics,Dalian University of Technology,Dalian 116024,China Naimin Zhang Mathematics and Information Science College,Wenzhou University,Wenzhou 325035,China Zhengxue Li Long Li Department of Applied Mathematics,Dalian University o.f Technology,Dalian 116024,China Yan Liu College of Information Science and Engineering,Dalian Institute of Light Industry,Dalian 116034,China.  Journal of Computational Mathematics. 2008(04)
[7]带惩罚项与随机输入的BP神经网络在线梯度学习算法的收敛性[J]. 鲁慧芳,吴微,李正学.  数学研究与评论. 2007(03)
[8]基于改进BP神经网络算法的管道缺陷漏磁信号识别[J]. 金涛,阙沛文,陈天璐,李亮.  上海交通大学学报. 2005(07)
[9]快速收敛的BP神经网络算法[J]. 王赟松,许洪国.  吉林大学学报(工学版). 2003(04)
[10]神经网络的泛化能力与结构优化算法研究[J]. 武妍,张立明.  计算机应用研究. 2002(06)



本文编号：3511678