基于目标检测的卷积神经网络模型压缩算法研究

发布时间：2021-11-01 11:05

　　近年来,卷积神经网络（Convolutional Neural Network,CNN）已然成为了计算机视觉领域的主要方法,相比传统算法取得了突破性的进展。然而,卷积神经网络往往拥有巨大的参数量和计算量,限制了其在嵌入式等“边缘”设备上应用的问题。本论文中,针对卷积神经网络计算量大和参数冗余的问题,以目标检测算法（Faster RCNN）为研究模型进行压缩,提出基于统计量聚类的剪枝方法,同时结合张量分解的方法对模型进行压缩,分析了秩的选取对混合压缩效果的影响,本文研究内容主要包括:（1）针对Faster RCNN算法在PASCAL VOC数据集检测精度改进,以提高在目标大小差异较大的类别物体召回率,本文提出了多尺度区域生成网络,增强了每个锚框中的前景特征信息,提高了算法的候选框生成质量和检测精度。（2）针对卷积神经网络计算量大和参数冗余的问题,本文研究了基于统计量聚类的结构化剪枝方法,对剪枝而言,一个关键性但目前仍没有解决的问题是参数的“相对重要性”评价,它对剪枝后的模型性能有着决定性影响,首先,分析了Faster RCNN模型每层卷积核在均值、方差上的分布,通过聚类的方式把每个卷积核... 

【文章来源】：北方民族大学宁夏回族自治区

【文章页数】：58 页

【学位级别】：硕士

【部分图文】：

传统卷积层结构设计示意图

北方民族大学2020届硕士学位论文第二章相关工作-7-图2-1传统卷积层结构设计示意图提升网络性能的方法有很多，例如硬件升级、大规模数据集等。设计模型过程中提高网络性能最直接的方法就是增加卷积层输出通道，然而，这种方法会带来以下两个不足之处：a)容易发生过拟合。当网络结构深度和宽度不断增加的时候，网络学习的参数量也不断增加，巨大的参数量容易在训练集发生过拟合。b)均匀地增加网络的大小，会导致计算量的加大。因此，解决上述不足的方法是引入稀疏特性，依据此想法产生了Inception结构。图2-2展示了具有Inception模块的网络结构，该网络结构首先用一个1×1的卷积核，和1×1并行的其他通道又增加了三种卷积核，最后所有通道的特征图融合在一起。Googlenet通过融合Inception模块构造的深度卷积网络，在ImageNet数据集取得了极佳的识别精度。图2-2Inception模块卷积层结构设计示意图在不断增加卷积神经网络的深度时，网络会出现性能退化问题，网络模型准确率先上升最后达到最大值后，再增加网络深度准确率反而下降，然而，这个问题不是普通的过拟合现

北方民族大学2020届硕士学位论文第二章相关工作-8-象，因为网络模型不止在测试集上误差增大。为了解决这种网络退化和梯度消失的问题，何凯明等人提出了深度残差网络，如图2-3所示，带有残差结构的网络模型，融入残差结构的卷积网络权值的学习为H(x)-x，这个结构能够很好的解决网络退化问题，理论上可以融入任意卷积网络。图2-3残差结构设计示意图2.3深度卷积网络的正则化方法在训练神经网络模型时，使用复杂的模型来拟合复杂的数据集时，泛化误差与模型容量的一般关系如图2-4。过拟合的原因通常是因为数据中存在噪声使得模型在训练过程中学习了噪声特征，正则化方法是常用的减少过拟合的方式之一，广泛应用于机器学习和深度学习中，它可以改善过拟合问题，降低结构风险，提高模型的泛化能力，以下介绍几种训练神经网络常用的正则化方法：

【参考文献】：
期刊论文
[1]基于Adaboost算法的日间前方车辆检测[J]. 金立生,王岩,刘景华,王亚丽,郑义.  吉林大学学报(工学版). 2014(06)
[2]基于HOG特征和SVM的前向车辆识别方法[J]. 李星,郭晓松,郭君斌.  计算机科学. 2013(S2)

硕士论文
[1]基于HOG特征的车辆检测技术研究[D]. 马蓓蓓.华南理工大学 2015



本文编号：3470003