面向深度学习的自适应激活函数的研究
发布时间：2021-12-29 13:26
在深度学习中,激活函数是人工神经网络一个重要组成部分。自适应激活函数通过添加可学习参数控制自身的形状。这些学习参数可通过反向传播算法,随着网络训练的进行得到更新。本文提出了一种针对自适应激活函数可学习参数调节的新方法NMPLAAF,并基于该方法设计出了针对CNN网络的新型激活函数Max2和针对RNN的新型激活函数MinMax。与此同时本文提出了一个猜想即每个人工神经网络都有适合自己的最优激活函数,NMPLAF可以看做是一种寻找神经网络最佳激活函数的有效方法。它不仅极大地减少了网络中自适应激活函数可学习参数的总体数量,而且加快了网络的学习速率,极大地改善了网络的泛化能力。新的激活函数可以被应用到现有的网络结构中,只需添加极少的可学习参数和计算开销。本文主要采用了MLP、CNN和RNN三种不同的网络结构,分别应用在图像,文本和语音数据集上。实验结果验证了我们的猜想,显示出我们提出的新方法的优越性。这两个新型自适应激活函数避免了梯度弥散问题,比其他激活函数具有更高的分类精度。
【文章来源】：浙江工业大学浙江省
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
SReLU基本形状
图 2-1 神经网络基本结构图圈对应的 Layer1L 表示输入层，其中1x ，2x ，3x 表示称作偏置节点，也叫截距项。最后 Layer3L 作为网络的r2L 通常称作隐藏层，其中(2)1a ，(2)2a ，(2)3a 称作激活值活函数非线性转化的结果。神经元节点连接线上都有一，上图权重参数可表示为（W,b）=（W1，b1，W2，b神经元与第 l+1 层的第 j 个神经元之间的权重参数，b项。上图隐藏层和输出层结果(W,b)h (x)的计算公式如下(2) (1) (1) (1) (1)1 11 1 12 2 13 3 1(2) (1) (1) (1) (1)2 21 1 22 2 23 3 2(2) (1) (1) (1) (1)3 31 1 32 2 33 3 3α = f(W x + W x + W x + b )α = f(W x + W x + W x + b )α = f(W x + W x + W x + b )
左图为全连接，右图为局部连接[53]
【参考文献】：
期刊论文
[1]DEGREE OF APPROXIMATION BY SUPERPOSITIONS OF A SIGMOIDAL FUNCTION[J]. Chen Debao (University of Texas at Austin,USA). Approximation Theory and Its Applications. 1993(03)
本文编号：3556216
【文章来源】：浙江工业大学浙江省
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
SReLU基本形状
图 2-1 神经网络基本结构图圈对应的 Layer1L 表示输入层，其中1x ，2x ，3x 表示称作偏置节点，也叫截距项。最后 Layer3L 作为网络的r2L 通常称作隐藏层，其中(2)1a ，(2)2a ，(2)3a 称作激活值活函数非线性转化的结果。神经元节点连接线上都有一，上图权重参数可表示为（W,b）=（W1，b1，W2，b神经元与第 l+1 层的第 j 个神经元之间的权重参数，b项。上图隐藏层和输出层结果(W,b)h (x)的计算公式如下(2) (1) (1) (1) (1)1 11 1 12 2 13 3 1(2) (1) (1) (1) (1)2 21 1 22 2 23 3 2(2) (1) (1) (1) (1)3 31 1 32 2 33 3 3α = f(W x + W x + W x + b )α = f(W x + W x + W x + b )α = f(W x + W x + W x + b )
左图为全连接，右图为局部连接[53]
【参考文献】：
期刊论文
[1]DEGREE OF APPROXIMATION BY SUPERPOSITIONS OF A SIGMOIDAL FUNCTION[J]. Chen Debao (University of Texas at Austin,USA). Approximation Theory and Its Applications. 1993(03)
本文编号：3556216
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3556216.html
