卷积神经网络的权重初始化研究及应用

发布时间：2020-12-28 05:55

　　当前,卷积神经网络已经在多个领域取得了巨大的成功。为了进一步提高卷积神经网络的效率,研究者们从多个角度提出了改进方案,主要包括:降低网络的过拟合,优化网络结构,跨领域的迁移学习以及高效的模型权重初始化等。现阶段,搭建一个优秀的网络模型通常需要进行大量的实验,模型参数的设置也往往依赖研究者的经验,没有很好的理论指导。针对网络模型的权重初始化问题,本文基于统计的方法,归纳总结了几种典型的卷积神经网络模型的预训练权重的分布特征,从这些分布特征来看,模型训练完成后权重值整体呈现向0方向偏移的特点,较正态分布,方差更小,分布峰值更高,且局部出现长尾的现象。基于这些分布特点,试想,网络模型的权重初始化直接采用这种分布是否能提高网络的效率?首先,本文通过对模型预训练权重做正态性检验,确定权重分布与正态分布的关联,然后采用了最大似然拟合方法与基于Kolmogorov-Smirnov（KS）统计量以及似然比的拟合优度检验相结合的方式探究了使用幂律分布拟合预训练权重分布的可行性,得出预训练权重存在局部幂律的性质。综合以上研究的结果,本文使用了调整正态分布方差的方式对预训练权重进行拟合,并提出基于方差调整的... 

【文章来源】：青岛大学山东省

【文章页数】：51 页

【学位级别】：硕士

【部分图文】：

卷积神经网络基本结构

青岛大学硕士学位论文7图2.2卷积运算原理示意图2.1.2线性整流层线性整流层可以看作是卷积层的一个组成部分，卷积操作得到的输出是线性的，从数学的角度出发，线性意味着复杂性不足，即对数据中复杂的特征映射能力有限，从而影响特征的提龋整流是指将非线性应用到卷积层的输出上，让网络模型能更有效地学习。线性整流函数也叫激励函数，在多层网络模型中，处于上层节点的输出与下层的输入之间。常用的线性整流函数有Sigmoid函数、Tanh函数和ReLU函数等[44]。(a)Sigmoid(b)Tanh(c)ReLU图2.3Sigmoid、Tanh、ReLU函数及其导函数图像Sigmoid函数的数学形式为：1()1zfze，将输入值转变为[0,1]之间的值输出。近年来，由于Sigmoid函数在卷积神经网络的反向传播中容易造成梯度消失(梯度爆炸)等问题，使用频率越来越校图2.3(a)中Sigmoid函数的导函数图像可知，当网络模型初始化权值在[0,1]之间时，在反向传播的过程中，每经过一次传递，梯

青岛大学硕士学位论文7图2.2卷积运算原理示意图2.1.2线性整流层线性整流层可以看作是卷积层的一个组成部分，卷积操作得到的输出是线性的，从数学的角度出发，线性意味着复杂性不足，即对数据中复杂的特征映射能力有限，从而影响特征的提龋整流是指将非线性应用到卷积层的输出上，让网络模型能更有效地学习。线性整流函数也叫激励函数，在多层网络模型中，处于上层节点的输出与下层的输入之间。常用的线性整流函数有Sigmoid函数、Tanh函数和ReLU函数等[44]。(a)Sigmoid(b)Tanh(c)ReLU图2.3Sigmoid、Tanh、ReLU函数及其导函数图像Sigmoid函数的数学形式为：1()1zfze，将输入值转变为[0,1]之间的值输出。近年来，由于Sigmoid函数在卷积神经网络的反向传播中容易造成梯度消失(梯度爆炸)等问题，使用频率越来越校图2.3(a)中Sigmoid函数的导函数图像可知，当网络模型初始化权值在[0,1]之间时，在反向传播的过程中，每经过一次传递，梯


本文编号：2943241