深度神经网络中的结构化模型压缩算法研究与应用

发布时间：2024-07-02 03:55

　　近年来,深度学习技术获得了飞速的发展,并逐渐应用在计算自视觉、自然语言处理等诸多领域。卷积神经网络作为深度学习的一个主要研究分支,在很多的分类、检测和分割等任务上都取得了优于传统方法的表现效果。然而,卷积神经网络的成功是通过庞大的参数组合形成的,多种多样的卷积核相堆叠保证其能提取出丰富多样的有代表性的特征。这也就表明了卷积神经网络的运行需要很好的硬件条件做支撑,这种硬件限制使得神经网络只能停留在实验室中,无法运行在存储量和运算能力较低的移动设备上。实际上网络存在大量的参数冗余,本文针对深度神经网络的模型压缩与优化加速展开研究,主要工作有:针对迭代剪枝容易产生累积误差的问题,提出了一种基于敏感度的逐层剪枝算法。我们首先考虑单个卷积层对整体网络性能的影响程度,定义了卷积层敏感度的概念,定量衡量每个卷积层的敏感度。基于此,不同剪枝率下的剪枝次序将会按照当前状态下的低敏感度卷积层到高敏感度卷积层进行,并且跨层剪枝之间采用了贪心剪枝的方法。该算法能够大大减少单层剪枝之后对网络的损耗,并且后序迭代剪枝也能在一个较高水平的网络性能上进行,避免了迭代剪枝误差放大的问题。在LeNet-5和AlexNet...

【文章页数】：86 页

【学位级别】：硕士

【部分图文】：

图3-8CIFAR10数据集10个类别的样本数据

电子科技大学硕士学位论文图3-7MNIST数据集10个类别的样本数据上图所示为MNIST数据集中0-9共10类样本中的数据展示，在MNIST数据集中每张图片都是由28×28个像素点构成，且都为单通道的二值图像，没有太多干扰信息。在原始的压缩文件中保存形式为728维向量，使用时我们....

本文编号：3999644