面向物体识别与检测的高效率深度神经网络模型研究

发布时间：2020-10-30 23:38

　　 物体识别与检测是计算机视觉领域中的两个基本任务。在物体识别任务中,对于输入图像,需要通过算法判断图像中的物体属于预定义的多个类别中的哪一个类别;而物体检测任务需要同时确定图像中出现的物体类别及其所在的位置。随着近年来深度学习技术的飞速发展,使用深度神经网络进行物体识别与检测实现了远超传统方法的性能。然而,在将高性能的物体识别与检测模型部署至资源受限场景时,深度神经网络自身参数规模大、计算复杂度高的缺点开始逐渐显现。为了进一步扩展深度神经网络模型的应用场景,本文针对面向物体识别与检测的高效率的深度神经网络模型,从两个不同角度开展了研究:1)针对现有的神经网络模型进行压缩;2)根据目标任务特点设计新的高效率神经网络模型。本文主要工作和创新点包括如下三个方面:第一,针对物体识别模型中滤波器间存在相关性导致参数量和计算量冗余的问题,提出了一种基于网络参数去相关约束的网络模型压缩方法,与稀疏约束共同使用时可以得到稀疏度更高的网络模型。本文从现有的稀疏约束压缩方法入手,通过分析稀疏约束生成的稀疏网络,得到对稀疏网络进行进一步压缩与网络滤波器相关性之间的联系。之后提出通过去相关约束减少网络滤波器相关性,并引入了稀疏掩码操作,以解决稀疏约束与去相关约束联合优化困难的问题。考虑到网络初始化时的初始参数对优化过程会产生影响,提出了去相关初始化方法以辅助网络去相关训练,进一步减小网络计算复杂度。在多个常用数据集上的实验结果证明了提出的方法可以实现比现有稀疏约束方法更高的网络压缩效果。第二,针对基于角点的物体检测模型存在的角点特征错位问题,提出了一种基于角点特征增强知识蒸馏的网络模型压缩方法,通过提供更有效的角点特征监督信息,在相近的模型复杂度下实现了更高的检测性能,扩展了知识蒸馏方法在物体检测模型中的应用范围。考虑到基于角点的物体检测算法对角点特征的强依赖性,在提出的知识蒸馏方法中,将教师网络的角点特征图使用物体全局特征进行增强,并使用增强后的特征图后作为额外监督信息训练学生网络,以此帮助学生网络生成包含更多物体全局信息的角点特征图。同时为了进一步提升学生网络的角点特征提取能力,将角点位置作为先验信息加入可变形卷积中,提出了角点可变形卷积。相比现有的角点池化操作,角点可变形卷积可以更好地在角点处提取物体整体特征。实验结果显示,使用提出的方法可以使学生网络学习到更好的角点特征表达。第三,针对物体检测模型对物体尺度变化敏感的问题,提出了一种尺度解耦特征金字塔网络设计方法,通过对骨干网络与特征融合模块进行联合设计,在显著提升模型对尺度变化鲁棒性的同时避免了计算复杂度的大幅增加。为了缓解特征金字塔网络中高层特征图受到不同尺度监督信息干扰的问题,使用多分支结构生成针对不同尺度物体的高层特征图,并在每个分支内分别进行特征融合,使用融合后得到的特征金字塔对不同尺度物体进行检测。由于保持了输出特征图和后续检测头网络与传统特征金字塔网络相同,没有增加头网络与后处理部分的计算复杂度。为了进一步提升不同分支对不同尺度物体的适应能力,提出使用双线性插值将卷积空洞率转化为可学习参数进行优化。为了避免由于使用双线性插值而带来计算复杂度增加,引入了梯度直通估计以直接学习整数值卷积空洞率,在网络计算复杂度和检测性能之间取得了更好的平衡。在多个物体检测数据集上的实验结果显示,使用提出的方法在不同物体尺度上都带来了明显的性能提升。
【学位单位】：中国科学技术大学
【学位级别】：博士
【学位年份】：2020
【中图分类】：TP391.41;TP183
【部分图文】：

常用的丨ｍａｇｅＮｅｔ数据集为丨ｍａｇｅＮｅｔ－２０１２物体识别数据集，数??据集被划分为包括约１２８万张图片的训练集，包含５００００张图片的验证集??和包含１００００张图片的测试集。其中测试集的图片标签并未公布，因此对??不同模型通常比较验证集性能。丨ｍａｇｅＮｅｔ数据集中的图片没有统一分辨率，??图片平均分辨率为４８２?Ｘ?４１８。??Ｄｓｙ＿＿ａ?■摩■■■?ａｍ??？■■■■?Ｌ：瀾■■?■■??ＣＩＦＡＲ－１０?ＣＩＦＡＲ－１００?丨?ｍａｇｅＮｅｔ－２０１２??图１．２物体识别任务常用数据集中的图像样例。??物体识别任务中常用的评价标准为Ｔｏｐ－１识别准确率和Ｔｏｐ－５识别准确率，??其中Ｔｏｐ－１识别准确率为根据模型预测得分最高的类别与真实类别相同的图片??数量占测试集图片总数的比例。Ｔｏｐ－５识别准确率为真实类别包含在模型输出的??得分最高的前５个类别中的图片数量占测试集图片总数的比例，相比于Ｔｏｐ－１准??确率，Ｔｏｐ－５准确率可以更好评估语义信息有歧义的测试图片。??在物体检测任务中，常用的数据集包括：??？?Ｐａｓｃａ卜ＶＯＣ１７７】：?Ｐａｓｃａｌ－ＶＯＣ数据集为由Ｐａｓｃａ丨组织举办的Ｐａｓｃａｌ－ＶＯＣ挑??战赛中使用的数据集。Ｐａｓｃａｌ?ＶＯＣ比赛从２００５年至２０１２年每年举办一次，??其中包括物体识别、物体检测、语义分割、动作识别等项目。在物体检测??任务中常用的数据集包括ＶＯＣ０７数据集和ＶＯＣ１２数据集，其中ＶＯＣ０７??８??

??数据集图片中包含８０个类别的物体，每个物体均有对应的框和分割掩码??标注。相比于Ｐａｓｃａｌ－ＶＯＣ数据集平均每张图片只有１．４个类别和２．３个物??体，ＭＳ－ＣＯＣＯ数据集中每张图片平均包含３．５个类别和７．７个物体，因此??ＭＳ－ＣＯＣＯ数据集不仅在数据量上超过了?Ｐａｓｃａｌ－ＶＯＣ数据集，同时在类别??和物体数量上也多于Ｐａｓｃａｌ－ＶＯＣ数据集，这使得ＭＳ－ＣＯＣＯ数据集成为??了当前用于评估物体检测模型的最常用数据集。??Ｐａｓｃａｌ?ＶＯＣ?ＭＳ－ＣＯＣＯ??图１．３物体检测任务常用数据集中的图像样例。??在物体检测任务中，常用基于准确率（Ｐｒｅｃｉｓｉｏｎ）和召回率（Ｒｅｃａｌｌ）计算得??到的ｍＡＰ作为性能指标。其中准确率为正确检测到的正样本数量占预测到的正??９??

集??上分别计算了针对孝中、大尺度物体的ｍＡＰ，其中面积小于３２２的物体定义??为小物体，面积大于３２２小于９６２的物体定义为中物体，面积大于９６２的物体定??义为大物体。??１．３论文贡献与章节安排??＠体．识别＊?基于去相关约束的稀疏神经网络训练方法??（―？?神经网络压缩?一????＞?面向物体角点检测的神经网络知识蒸馏方法??高效率深度神＿??经＠络模型＿??－物体检测??？神经网络结构设计?？基于自适应空洞卷积的尺度解耦特征金字塔网络??图１．４本文工作结构示意图。??在本论文中，围绕高效率的物体识别与检测这一主题，从网络压缩和网络结??构设计两方面入手进行物体识别与检测模型的研究。在物体识别任务中，设计了??用于网络压缩的去相关约束以得到具有结构稀疏性的深度神经网络模型。在物??体检测任务中，提出将网络压缩中的知识蒸馏方法应用于基于角点的物体检测??模型中，使用经过角点增强的特征图作为额外监督信息训练检测模型，并设计了??角点可变形卷积以更有效地提取角点特征。为了提升物体检测模型对尺度变化??的鲁棒性，提出了基于多分支结构的尺度解耦特征金字塔网络，并利用双线性插??值进行卷积层空洞率的学习，使网络不同分支可以更好适应不同尺度物体的检??测。本文各个研宄内容间的关系示意图展示于图１．４中。??本论文的主要贡献如下：??１０??
【相似文献】

相关期刊论文 前10条

1 蔡路;刘怡俊;;物体检测算法综述[J];电脑编程技巧与维护;2019年02期

2 李泽华;;深度神经网络模型在智慧广电应用中的设计与验证[J];广播电视信息;2020年04期

3 刘崇阳;刘勤让;;一种神经网络模型剪枝后泛化能力的验证方法[J];计算机工程;2019年10期

4 张宝录;罗丹婷;胡鹏;樊举;景超;;一种基于深度神经网络模型的测井曲线生成方法[J];电子测量技术;2020年11期

5 詹武平;郑永煌;王金霞;;基于深度神经网络模型的雷达目标识别[J];现代雷达;2018年01期

6 黄仕鑫;浦科学;桑祎莹;罗亚玲;;基于GA-BP神经网络模型鉴别2型糖尿病性周围神经病变的分类模型研究[J];解放军医学杂志;2020年01期

7 韩姝;李国成;;求解紧凸集上非光滑优化问题的神经网络模型[J];北京信息科技大学学报(自然科学版);2020年01期

8 王玥;;基于神经网络模型的大学生二手市场调查分析[J];市场研究;2020年07期

9 祖来克孜·米吉提;;神经网络模型在分类与预测中的应用研究[J];喀什大学学报;2018年03期

10 陈海华;;基于神经网络模型的高速公路交通量短时预测方法[J];中国交通信息化;2017年08期

相关博士学位论文 前10条

1 朱小天;面向物体识别与检测的高效率深度神经网络模型研究[D];中国科学技术大学;2020年

2 杨继伟;多特征融合的行人重识别算法研究及其加速[D];中国科学技术大学;2019年

3 张国校;基于深层神经网络模型的浅层语义解析统计研究[D];暨南大学;2017年

4 周彦辰;事故条件下放射性废液污染预测的机理性神经网络模型研究[D];武汉大学;2015年

5 王雨农;基于视觉注意机制的神经网络模型研究及应用[D];中国科学技术大学;2017年

6 喻维;软件缺陷报告管理关键技术研究[D];华南理工大学;2018年

7 李翠平;解l_1-范数问题的神经网络模型研究[D];陕西师范大学;2018年

8 袁朝晖;二元离散神经网络模型的动力学分析[D];湖南大学;2003年

9 王军平;几类离散神经网络模型的动力学分析[D];复旦大学;2006年

10 沈喜生;优化计算的神经网络模型及其稳定性分析[D];厦门大学;2006年

相关硕士学位论文 前10条

1 李政;基于盲水印的深度神经网络模型知识产权保护框架[D];山东大学;2020年

2 张文博;基于神经网络模型的车险索赔频率问题研究[D];西南财经大学;2019年

3 谢忱宇;基于LSTM神经网络模型的因子选股策略研究[D];辽宁大学;2019年

4 张婷婷;三类时滞细胞神经网络模型的稳定性分析[D];东北林业大学;2019年

5 许栋武;基于多任务学习的车辆再识别算法研究[D];北京交通大学;2019年

6 王超;优化卷积神经网络模型在隧道探地雷达实测数据分类中的研究及应用[D];长安大学;2019年

7 徐峰;基于改进神经网络模型的锂电池SOC预测方法研究[D];重庆邮电大学;2018年

8 韩德鹏;基于SCADA运行数据的风电机组健康状况评价[D];华北电力大学;2019年

9 刘莉;儿童室性早搏计算机卷积神经网络模型的建立和评价[D];上海交通大学;2018年

10 邢扣子;基于CPU-FPGA的容错神经网络模型训练系统[D];合肥工业大学;2019年

本文编号：2863158