基于深层卷积神经网络模型压缩方法的研究及改进

发布时间：2020-12-28 19:21

　　随着技术的发展,深度神经网络所代表的AI,是被大家所公认的技术。目前,深度卷积神经网络已被广泛的在计算机视觉、语音、自然语言等各大领域应用,并获得很好的效果和巨大的成功。而深度卷积神经网络则是深度学习不可缺少的一部分,但是深度卷积神经网络模型参数巨大,迁移学习困难,硬件需求条件巨大,在较小的硬件上更是无法训练,或者使用这些效果较好的模型。如何将深度卷积神经网络模型压缩的更小,使得模型能够在较小的硬件设备上运行,其好处是显而易见的。因此,本文提出的一种深度网络模型的压缩方法,主要包括以下三大步骤:第一步,提出一个自适应重复剪枝算法（Adaptive repetitive Pruning）,对网络的权重进行逐层阈值修剪,通过阈值递增来修剪,同时对网络进行恢复性训练,找到影响模型精度的连接,然后重复裁剪权值连接,留下重要连接,裁剪不重要的连接,同时保证网络的精度不变。完成对网络模型的第一步压缩,使得深度网络参数得到有效的减少。第二步,使用Mini Batch-K-means聚类算法对权重每层进行聚类,通过对每层权值进行聚类后,将所得的聚类中心来表示每层的权值,这样可以实现权值共享的效果,此时... 

【文章来源】：广东工业大学广东省

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

神经网络

图 2-1 一个简单的生物神经元Figure 2-1 A simple biological neuron传递信息并表达出所需的信息。早在 1943 年一个神经元的简单模型，如下图 2-2 所示。

10图 2-2 简单的神经元模型Figure 2-2 Simple neuron modeln所代表的该神经元的输入信号，wi1~win则重，不同的权重有着不同的影响，而求和号的处理。图中还有一个比较特殊的就是因此神经元不会被这个输入激活，也就是个输入 x 和其权值 w 进行乘积和得到一个sum(*)1inii xw

【参考文献】：
期刊论文
[1]人工智能大国战略[J]. 赵刚.  当代县域经济. 2017(06)
[2]人工智能的进展及发展建议[J]. 王莹.  电子产品世界. 2017(Z1)
[3]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正.  计算机应用研究. 2012(08)



本文编号：2944273