卷积神经网络的压缩算法研究
发布时间：2020-12-16 03:51
近些年来,卷积神经网络在图像识别、目标定位等计算机视觉任务中得到了广泛的应用。卷积神经网络压缩技术能够有效地降低神经网络的计算量和参数量,使计算设备能够更加流畅地运行卷积神经网络模型,减少设备能量消耗,提升用户体验。本文对卷积神经网络压缩算法的研究分为以下两个方面。在卷积神经网络神经节点裁剪方面,结合卷积层和批标准化层对神经节点输出特征图的影响,提出一种神经节点重要程度评估算法,以此对卷积层中神经节点的重要程度进行评分,裁剪掉重要程度得分最低的一部分神经节点,从而实现卷积神经网络的压缩;根据卷积层中神经节点重要程度得分的分布,提出了一种计算各个卷积层神经节点裁剪率的算法,如果各个神经节点的重要程度得分近似,则裁剪率较小。本文算法对ILSVRC2012数据集上训练的VGG16网络模型的裁剪实验结果为:裁剪掉63.9%的卷积层神经节点,浮点计算次数降低66.5%,Top-5准确率降低0.56%。在卷积神经网络模型存储空间压缩方面,提出一种基于字典学习的卷积神经网络存储空间压缩算法,通过字典中少量词条的线性组合来近似表示神经节点中各个通道的权值参数,并对词条线性组合的系数进行量化压缩。存储卷...
【文章来源】：海南大学海南省 211工程院校
【文章页数】：48 页
【学位级别】：硕士
【部分图文】：
池化层计算方式
卷积神经网络的压缩算法研究10降低神经网络的参数量和计算量，与卷积层相比，同样是降采样，但是池化层的池化计算要远比卷积计算简单。池化层是在输入数据的各个通道上进行降采样，所以输出和输入数据的通道数是一致的，由于步长通常大于或等于2，所以输出数据的尺寸会变小，可以快速的降低后续卷积层的计算量，并且池化层没有需要学习的参数，不需要学习。2.1.3激活函数层卷积神经网络中卷积层是线性计算，激活函数是非线性的函数，将其引入卷积神经网络中可以增加网络的非线性，增强神经网络的学习能力。激活函数的类型有Sigmoid函数、tanh函数、ReLU等。Sigmoid函数可以将输入的数据映射到0t之间，如公式2-3所示。tanh函数可以将输入的数据映射到t之间，如公式2-4所示。ReLU函数只保留输入数据不小于0的部分，如公式2-5所示。它们的函数曲线如图2.2所示。xex11)(-3h112)tanh(2xex-4h;0,0;0,U)(ReLxxxx-5h图2.2激活函数曲线Fig.2.2Activationfunctioncurve从公式2-3和2-4中可以发现Sigmoid函数和tanh函数计算比较复杂，都包含幂运算，对其求导也很复杂，计算量比较大。从图2-2中可以看出，随着的增大，函数曲线接近于直线，其导数会变得非常小，接近于0。在卷积神经网络的链式求导中，容易出现梯度消失的情况，最终导致较为靠前的网络层的权值参数无法得到有效的学习。目前常使用ReLU作为激活函数，因为它的求导非常简单，在x0时，导数为常数1，在x0时，导数为常数0。这样避免了梯度消失的问题，但是梯度也和可学习的参数有关，有一定可能会出现梯度爆炸问题，
海南大学硕士学位论文13与该层的权值参数矩阵直接相乘，权值参数矩阵的形状为5×5×16×120，输出120个特征数值。该层可学习的参数个数为48120个，浮点计算次数为9.6万次。FC6全连接层：输入为FC5层全连接层输出的120个特征数值，与FC6层的尺寸为120×84的参数矩阵直接相乘，得到84个特征数值。该层可学习参数为10164个，浮点计算次数为20160次。FC7为输出层：输入为FC6层输出的84个特征数值，与FC7层的尺寸为84×10的参数矩阵直接相乘，得到10个特征数值，最后，将这10个数值送入分类器中。该层总共有10个神经节点，每个节点对应0到9之间的一个数字。LeNet-5是一个参数量少、计算量孝简洁高效的卷积神经网络，在MNIST数据集上的准确率可以达到98.5%。2.2.2DenseNetDenseNet是Huang等人于2017年提出的一种密集连接型卷积神经网络，它由DenseBlock模块和Transition层交替堆叠组成，如图2.4所示。在DenseBlock中每一层的输出数据都会作为后续所有层输入数据的一部分，每一层的输入数据都包含了前面所有层的输出数据，极其有效的利用了每一层输出的特征图，其结构如图2.5所示。Transition层本质上是一个卷积层，但是它的卷积核的平面尺寸是1×1，用于对DenseBlock输出的特征图进行综合。图2.4DenseNet结构示意图Fig.2.4StructurediagramofDenseNet图2.5DenseBlock结构示意图Fig.2.5StructurediagramofDenseBlockDenseNet是一个比较窄的卷积神经网络，每一层神经节点的数量都很少，所以可学习的权值参数比较少，但是由于它连接方式的特殊性，保证了每一层输出的特征图都会得到有效的利用，所以神经网络的性能并没有降低。在Cifar-10数据集的分类任务中准确率达到了92.4%，其可学习参数大约为100万个，浮点计
本文编号：2919480
【文章来源】：海南大学海南省 211工程院校
【文章页数】：48 页
【学位级别】：硕士
【部分图文】：
池化层计算方式
卷积神经网络的压缩算法研究10降低神经网络的参数量和计算量，与卷积层相比，同样是降采样，但是池化层的池化计算要远比卷积计算简单。池化层是在输入数据的各个通道上进行降采样，所以输出和输入数据的通道数是一致的，由于步长通常大于或等于2，所以输出数据的尺寸会变小，可以快速的降低后续卷积层的计算量，并且池化层没有需要学习的参数，不需要学习。2.1.3激活函数层卷积神经网络中卷积层是线性计算，激活函数是非线性的函数，将其引入卷积神经网络中可以增加网络的非线性，增强神经网络的学习能力。激活函数的类型有Sigmoid函数、tanh函数、ReLU等。Sigmoid函数可以将输入的数据映射到0t之间，如公式2-3所示。tanh函数可以将输入的数据映射到t之间，如公式2-4所示。ReLU函数只保留输入数据不小于0的部分，如公式2-5所示。它们的函数曲线如图2.2所示。xex11)(-3h112)tanh(2xex-4h;0,0;0,U)(ReLxxxx-5h图2.2激活函数曲线Fig.2.2Activationfunctioncurve从公式2-3和2-4中可以发现Sigmoid函数和tanh函数计算比较复杂，都包含幂运算，对其求导也很复杂，计算量比较大。从图2-2中可以看出，随着的增大，函数曲线接近于直线，其导数会变得非常小，接近于0。在卷积神经网络的链式求导中，容易出现梯度消失的情况，最终导致较为靠前的网络层的权值参数无法得到有效的学习。目前常使用ReLU作为激活函数，因为它的求导非常简单，在x0时，导数为常数1，在x0时，导数为常数0。这样避免了梯度消失的问题，但是梯度也和可学习的参数有关，有一定可能会出现梯度爆炸问题，
海南大学硕士学位论文13与该层的权值参数矩阵直接相乘，权值参数矩阵的形状为5×5×16×120，输出120个特征数值。该层可学习的参数个数为48120个，浮点计算次数为9.6万次。FC6全连接层：输入为FC5层全连接层输出的120个特征数值，与FC6层的尺寸为120×84的参数矩阵直接相乘，得到84个特征数值。该层可学习参数为10164个，浮点计算次数为20160次。FC7为输出层：输入为FC6层输出的84个特征数值，与FC7层的尺寸为84×10的参数矩阵直接相乘，得到10个特征数值，最后，将这10个数值送入分类器中。该层总共有10个神经节点，每个节点对应0到9之间的一个数字。LeNet-5是一个参数量少、计算量孝简洁高效的卷积神经网络，在MNIST数据集上的准确率可以达到98.5%。2.2.2DenseNetDenseNet是Huang等人于2017年提出的一种密集连接型卷积神经网络，它由DenseBlock模块和Transition层交替堆叠组成，如图2.4所示。在DenseBlock中每一层的输出数据都会作为后续所有层输入数据的一部分，每一层的输入数据都包含了前面所有层的输出数据，极其有效的利用了每一层输出的特征图，其结构如图2.5所示。Transition层本质上是一个卷积层，但是它的卷积核的平面尺寸是1×1，用于对DenseBlock输出的特征图进行综合。图2.4DenseNet结构示意图Fig.2.4StructurediagramofDenseNet图2.5DenseBlock结构示意图Fig.2.5StructurediagramofDenseBlockDenseNet是一个比较窄的卷积神经网络，每一层神经节点的数量都很少，所以可学习的权值参数比较少，但是由于它连接方式的特殊性，保证了每一层输出的特征图都会得到有效的利用，所以神经网络的性能并没有降低。在Cifar-10数据集的分类任务中准确率达到了92.4%，其可学习参数大约为100万个，浮点计
本文编号：2919480
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2919480.html
