融合张量结构压缩深度神经网络

发布时间：2024-02-20 00:26

　　深度学习近年来得到了快速的发展,在计算机视觉,自然语言处理等众多领域有着优越的表现,催生了一系列智能产品的落地。而深度学习的本质是在大数据支撑下,由多层神经网络堆叠形成的信号处理系统,具有参数量大,计算复杂度高等特点,需要依靠高性能的服务器端来处理庞大的网络参数运算与更新。很多时候,出于响应时间、隐私方面和服务稳定性的考虑,更希望将这些网络模型放在移动终端上运行,而移动终端的运算资源及计算能力有限,不能直接运行模型。目前普遍的做法是将训练好的模型存放在在云端,通过云与移动端进行信息交互,这导致了产品的使用效果的下降。因此,对深度神经网络进行压缩以降低其参数量和存储要求,提升运算效率,保持网络性能,使其满足通用移动设备的要求,已经成为是当下的研究热点之一,对移动设备的发展也有着重要的工程及社会意义。论文分析了国内外现有网络参数压缩模型的优缺点,结合网络参数的低秩和稀疏特性,提出以下模型压缩算法:1)基于克罗内克分解(Kronecker Tensor Decomposition,KTD)的改进方法压缩神经网络。该方法利用张量数据的多重克罗内克结构成功地刻画了数据在多重压缩结构上的内在关系,...

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

图2-2卷积运算

融合张量结构压缩深度神经网络12后还需添加偏置则可以得到输出矩阵。图2-2卷积运算2.2.3激励层激励层的作用可以理解为对卷积层的输出结果做一次非线性映射。其实激励函数就相当于f(x)=x，而当神经网络缺少激励函数，每一层的输出都是上一层输入的线性函数。分析可知，无论有多少神经网....

图2-3激励函数

融合张量结构压缩深度神经网络12后还需添加偏置则可以得到输出矩阵。图2-2卷积运算2.2.3激励层激励层的作用可以理解为对卷积层的输出结果做一次非线性映射。其实激励函数就相当于f(x)=x，而当神经网络缺少激励函数，每一层的输出都是上一层输入的线性函数。分析可知，无论有多少神经网....

图2-4最大池化

融合张量结构压缩深度神经网络132.2.4池化层池化（Pooling），也称为欠采样或下采样，其作用是用于各个特征图的降维，同时还能保留大部分重要信息。连续的卷积层中穿插着池化层，它不仅可以压缩模型的参数数量，还可以防止过拟合，同时提高模型的容错性。最为常用的方法有：最大池化（M....

图2-5全连接层

融合张量结构压缩深度神经网络14最后可能出现过拟合，为了避免出现过拟合引入Dropout操作，通过随机删除神经网络中的部分神经元来解决问题。还可以利用局部归一化（LRN）、数据增强等操作，来加强模型的鲁棒性，提高模型的整体性能。全连接层可以整合卷积层和池化层中具有类别区分性的局部....

本文编号：3903558