动量梯度下降法的收敛性
发布时间：2021-09-25 03:28
从1943年神经元模型的提出到如今深度学习的兴起,神经网络已经经过了 70余年的发展,而神经网络也开始对人类生活产生越来越重要的影响,目前神经网络技术已被用于各种领域,比如计算机视觉、自然语言处理、语音识别、生物医学以及机器人控制等等,并且在各领域内也取得了一定的成功,然而目前关于神经网络的理论分析却并不多,本文基于此对用于神经网络的带动量项的反向传播算法的收敛性进行了理论分析,本文中所考虑的是一个三层的前馈神经网络模型,在该模型中,它的学习率是被设置为一个常数,而动量系数则被设置为一个适应性的变量,用来加速及稳定网络参数的训练过程,本文给出了其相应的收敛性结果,并且对给出的结论进行了详细地证明,此外,本文还做了两个实验,实验结果进一步地验证了本文结果的正确性;相比于目前已有的结果,本文的结论更具一般性,因为本文所考虑的网络输出层可以具有任意个数的神经元并且偏置项也被考虑在内。
【文章来源】：华东理工大学上海市 211工程院校 教育部直属院校
【文章页数】：47 页
【学位级别】：硕士
【部分图文】：
图２．１神经元模型??Ｆｉｇ．２．１?Ｎｅｕｒｏｎ?ｍｏｄｅｌ??
第８页?华东理工大学硕士学位论文??ｆ（ｘ）?＝?ｍａｘ｛?．ｘ；０）?－ｈ?ｌ?ｘ?ｍｎｉ（?ｘ，０）?ｊｆ??ｚ??ｚ?＇??－ｉ???－０．５－?■＊??－１－－??图２．６又＝１／３的ＬｅａｋｙＲｅＬｕ函数图像??Ｆｉｇ．２．６?Ｉｍａｇｅ?ｏｆ?ＬｅａｋｅＲｅＬｕ?ｆｕｎｃｔｉｏｎ?ｗｈｉｃｈ?Ａ?＝?１／３??２．１．２感知机??感知机是使最早的一种监督式学习算法模型，是用于进行线性分类的一种模型，它??是构建神经网络模型的基矗如图３．１所示，感知机只有两层神经元，一层是输入层，??用于接收外界的信号输入，一层为输出层，输入层的输入与连接权重进行线性组合后再??加上阈值所得到的值会由激活函数进行处理，输出层就输出处理过后的值，利用感知机??我们可以十分轻松地实现一些逻辑运算，比如与、或、非逻辑运算，假设激活函数／为??如图３．２所不的符号函数，贝！Ｊ：??（１）：实现“与”逻辑运算（ｘ，?ａｘ２?）：令％?＝?ｗ２?＝?０．５，＝?１，那么输出层的输??出为少＝３８１１（０．５．１１＋０．５．１２－１），很容易验证当且仅当；（：１＝１２＝１时，｝?＝?１；??（２）：实现“或”逻辑运算（ＡＶ＆）：令％?＝ｗ２?＝０．５，?０?＝?０．５，那么输出层的??输出为＾ｓｇｎＣＯ．Ｓ．Ａ＋Ｏ．Ｓ．ｘ〗—０．５），很容易验证当且仅当々＝々＝０时，少＝０；??（３）?？？实现“非”逻辑运算（飞）：令％＝０．５，ｗ２＝０，沒＝１，那么输出层的输??出为１），很容易验证当ｘ，?＝１时，少＝０，而当々＝０时，少＝１；??这三种情况都只是比较简单的逻辑运算，而对于更为一般的问题来说，假设给定的??训练数据集为
第１０页?华东理工大学硕士学位论文??暑暴??（ａ）单隐层前馈网络?（ｂ）双隐层前馈网络??图２．８多层前馈神经网络结构图??Ｆｉｇ．２．８?Ｍｕｌｔｉ－ｌａｙｅｒ?ｆｅｅｄｆｏｒｗａｒｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ??２．２反向传播算法??由２．１节可知，由于单层感知机的解决问题的局限性，我们需要考虑使用多层网络，??然而多层网络尤其是深层网络，它们的学习能力虽然很强，但是如何来对对层网络进行??有效地训练则是一个非常重要的问题，学习训练多层神经网络需要强大的算法，反向传??播算法（Ｅｒｒｏｒ?Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ?Ａｌｇｏｒｉｔｈｍ，简称ＢＰ算法）可以说是目前应用最多最为??成功的神经网络训练学习算法，它主要是建立在梯度下降法的基础上的，它的主要工作??步骤如下：??１）：首先神经网络的前向传播过程，即把训练数据集输入到神经网络的输入层，然??后再传入到隐藏层，之后再一层一层往后传直至到网络的输出层得到网络的输出；??２）：在得到神经网络的输出后，我们可以将其与训练数据集中的真实结果进行比较，??计算出网络输出值与实际值之间的误差，然后将误差从输出层开始不断往前传播，直至??传播得到输出层，得到每一层的误差；??３）：在第二步中，将误差不断往前传播的同时根据误差计算出损失函数关于网络权??重参数以及阈值的梯度，并根据梯度下降法对网络的权重参数以及阈值进行更新；??４）：不断地重复前面的三个步骤来对网络中的权重参数以及阈值进行更新，直至参??数收敛；??由上可知，反向传播算法的主要思想其实并不复杂，在下面，本文将对反向传播进??行公式推导，给出权重参数以及阈
本文编号：3408998
【文章来源】：华东理工大学上海市 211工程院校 教育部直属院校
【文章页数】：47 页
【学位级别】：硕士
【部分图文】：
图２．１神经元模型??Ｆｉｇ．２．１?Ｎｅｕｒｏｎ?ｍｏｄｅｌ??
第８页?华东理工大学硕士学位论文??ｆ（ｘ）?＝?ｍａｘ｛?．ｘ；０）?－ｈ?ｌ?ｘ?ｍｎｉ（?ｘ，０）?ｊｆ??ｚ??ｚ?＇??－ｉ???－０．５－?■＊??－１－－??图２．６又＝１／３的ＬｅａｋｙＲｅＬｕ函数图像??Ｆｉｇ．２．６?Ｉｍａｇｅ?ｏｆ?ＬｅａｋｅＲｅＬｕ?ｆｕｎｃｔｉｏｎ?ｗｈｉｃｈ?Ａ?＝?１／３??２．１．２感知机??感知机是使最早的一种监督式学习算法模型，是用于进行线性分类的一种模型，它??是构建神经网络模型的基矗如图３．１所示，感知机只有两层神经元，一层是输入层，??用于接收外界的信号输入，一层为输出层，输入层的输入与连接权重进行线性组合后再??加上阈值所得到的值会由激活函数进行处理，输出层就输出处理过后的值，利用感知机??我们可以十分轻松地实现一些逻辑运算，比如与、或、非逻辑运算，假设激活函数／为??如图３．２所不的符号函数，贝！Ｊ：??（１）：实现“与”逻辑运算（ｘ，?ａｘ２?）：令％?＝?ｗ２?＝?０．５，＝?１，那么输出层的输??出为少＝３８１１（０．５．１１＋０．５．１２－１），很容易验证当且仅当；（：１＝１２＝１时，｝?＝?１；??（２）：实现“或”逻辑运算（ＡＶ＆）：令％?＝ｗ２?＝０．５，?０?＝?０．５，那么输出层的??输出为＾ｓｇｎＣＯ．Ｓ．Ａ＋Ｏ．Ｓ．ｘ〗—０．５），很容易验证当且仅当々＝々＝０时，少＝０；??（３）?？？实现“非”逻辑运算（飞）：令％＝０．５，ｗ２＝０，沒＝１，那么输出层的输??出为１），很容易验证当ｘ，?＝１时，少＝０，而当々＝０时，少＝１；??这三种情况都只是比较简单的逻辑运算，而对于更为一般的问题来说，假设给定的??训练数据集为
第１０页?华东理工大学硕士学位论文??暑暴??（ａ）单隐层前馈网络?（ｂ）双隐层前馈网络??图２．８多层前馈神经网络结构图??Ｆｉｇ．２．８?Ｍｕｌｔｉ－ｌａｙｅｒ?ｆｅｅｄｆｏｒｗａｒｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ??２．２反向传播算法??由２．１节可知，由于单层感知机的解决问题的局限性，我们需要考虑使用多层网络，??然而多层网络尤其是深层网络，它们的学习能力虽然很强，但是如何来对对层网络进行??有效地训练则是一个非常重要的问题，学习训练多层神经网络需要强大的算法，反向传??播算法（Ｅｒｒｏｒ?Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ?Ａｌｇｏｒｉｔｈｍ，简称ＢＰ算法）可以说是目前应用最多最为??成功的神经网络训练学习算法，它主要是建立在梯度下降法的基础上的，它的主要工作??步骤如下：??１）：首先神经网络的前向传播过程，即把训练数据集输入到神经网络的输入层，然??后再传入到隐藏层，之后再一层一层往后传直至到网络的输出层得到网络的输出；??２）：在得到神经网络的输出后，我们可以将其与训练数据集中的真实结果进行比较，??计算出网络输出值与实际值之间的误差，然后将误差从输出层开始不断往前传播，直至??传播得到输出层，得到每一层的误差；??３）：在第二步中，将误差不断往前传播的同时根据误差计算出损失函数关于网络权??重参数以及阈值的梯度，并根据梯度下降法对网络的权重参数以及阈值进行更新；??４）：不断地重复前面的三个步骤来对网络中的权重参数以及阈值进行更新，直至参??数收敛；??由上可知，反向传播算法的主要思想其实并不复杂，在下面，本文将对反向传播进??行公式推导，给出权重参数以及阈
本文编号：3408998
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3408998.html
