带动量的BP神经网络在线梯度学习算法的收敛性

发布时间：2021-03-31 05:01

　　人工神经网络作为模拟生物神经网络的信息处理系统,近年来在人工智能方面受到广泛的青睐。以最速下降法（梯度下降法）为基本思想进行学习的BP神经网络因为具有很强的非线性映射能力,常被用来处理逼近问题。加入动量的梯度学习算法可以提高BP神经网络的学习速度。本文主要研究的是,当训练样本在每一轮迭代周期随机排列时,带动量的双层BP神经网络在线梯度学习算法的收敛性。选取适当的学习步长,动量系数以自适应方式选择,并且对激活函数给出一定的限制条件,我们证明了该算法的弱收敛和强收敛定理。进一步地,当对训练样本进行固定分组,以组为单位更新权值,并在每一轮迭代周期将样本分组重新排列,也给出了相应的弱收敛和强收敛结果。 

【文章来源】：华东理工大学上海市 211工程院校 教育部直属院校

【文章页数】：45 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景
    1.2 问题描述及文章构架
第2章 BP神经网络
    2.1 人工神经网络简介
        2.1.1 人工神经网络的定义
        2.1.2 生物神经网络
        2.1.3 人工神经网络模型
    2.2 BP神经网路
        2.2.1 神经网络的学习
        2.2.2 BP神经网络
第3章 带动量项的在线梯度学习算法的收敛性
    3.1 带动量项的在线梯度算法
    3.2 引理
    3.3 定理及证明
第4章 分组训练的带动量项的梯度学习算法的收敛性
    4.1 带动量的梯度法
    4.2 引理及定理
第5章 结论
参考文献
致谢



本文编号：3110840