深度学习网络的快速计算关键技术研究

发布时间：2022-02-05 01:24

　　深度神经网络近年来普遍应用在图像分类、物体检测、目标跟踪等计算机视觉任务中,已逐步成为研究热点。不过因为参数数目巨大、存储空间有限和计算资源代价高昂的限制,在移动设备上的存储和计算已经阻碍了深度学习的发展。为此,本论文开展了深度学习网络的快速计算技术研究,主要工作如下:论文首先分析了目前主流的几种深度学习网络的快速计算技术,包括参数修剪与共享、低秩分解、紧性卷积核的设计以及知识蒸馏等等。在参数修剪与共享的基础上,寻找并消除网络中存在的冗余,但会因为精度的损失而造成准确率的降低;在低秩分解的基础上,利用向量分解对卷积网络里信息量大的参数进行估计,但是低秩方法真正实施起来特别困难,涉及到计算成本昂贵的分解操作;在紧性卷积核的基础上,使用特殊滤波器对网络参数进行估计,设计特殊的卷积模块结构,能大大改善网络性能;知识蒸馏提炼出一个小模型来再现大型网络的输出,虽然能减少计算成本但是适用范围比较局限。然后,论文提出了基于激活函数的快速计算算法,即设计了基于SELUs的自归一化分段线性激活函数SPeLUs。该激活函数的实现流程如下:用分段线性函数PeLUs去拟合ELUs;用参数λ与PeLUs相乘得到... 

【文章来源】：南京邮电大学江苏省

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

ELU和PeLU的曲线图

SELU和SPeLU的曲线图

南京邮电大学硕士研究生学位论文 第三章 基于激活函数的快速计算算法3.3 实验及分析3.3.1 数据集及实验环境介绍这一部分先对实验所用到的数据集和实验环境作个总体的介绍。（1） 数据集先对实验所用到的三种数据集进行简单介绍。（a）MNISTMNIST 数据集由训练集和测试集构成。训练集中有 60000 张图片，测试集中有 10000 张图片。每张图片的尺寸都是 28× 28，而且都是纯黑白。所有图片全都是各种人手写的数字，范围均是从 0 至 9。下图 3.12 就是 10 张 MNIST 图片。


本文编号：3614304