多尺度特征融合改进YOLOv3网络的行人和车辆检测

发布时间：2020-10-08 22:58

　　行人和车辆检测是计算机视觉中细分研究方向之一,广泛应用于视频监控、智能机器人等领域。针对城市场景中行人和车辆的检测问题,本文重点研究了卷积神经网络提取的多尺度特征利用和目标检测中边框(Bounding Box,BBox)回归,提出改进YOLOv3网络的行人和车辆检测方法。针对多尺度目标的检测问题,本文充分利用卷积神经网络(CNN)的多尺度特征研究了一种多尺度特征转换迁移融合的YOLOv3网络,以提高图像中多种尺度目标的检测准确度。首先,基于YOLOv3网络采用STDN算法的尺度转换模块对低层级特征图进行缩小,构造特征重用的主干网络提取特征。然后,采用尺度转换模块对高层级特征图进行放大,构建特征金字塔网络(Feature Pyramid Network,FPN)预测目标。在公开数据集MSCOCO上,该网络有效改善原YOLOv3网络因遮挡和目标较小导致的误检和漏检问题,各类别目标实验结果的精度均有提升。针对目标检测的定位和分类两大任务,本文提出基于置信度优化和级联BBox回归的检测模型。受two-stage目标检测模型Cascade R-CNN的启发,本文在one-stage目标检测模型基础上采用级联BBox回归方法。该方法通过设置递增的IOU(intersection over union)阈值,多阶段训练回归BBox,明显改善时间上不能匹配最佳的IOU值,检测的BBox偏差问题。同时,根据类间目标属性规律特征做置信度优化,以减少违背统计规律的误检。该方法基于现实场景中目标类别总是相互依存的这一先验规律,首先构造了相关系数矩阵和指数归一化的类间目标属性规律特征,然后利用这些特征在检测阶段优化目标的置信度打分。这一置信度优化方法利用客观存在的规律作为信息应用于目标检测,对目标检测效果有略微的提升。针对城市场景中行人和车辆检测问题,本文提出基于多尺度特征融合YOLOv3网络和级联BBox回归的行人和车辆检测模型。首先,考虑了遮挡、光线、场景等影响检测的因素,构建了有效的行人和车辆数据集,并采用类别平衡采样的方法解决了样本不平衡问题。然后,为加快训练模型收敛速度,降低漏检概率,采用K-means聚类优化方法选取先验框。最后,利用多尺度特征融合YOLOv3网络和级联BBox回归的模型对行人和车辆训练和检测。实验结果表明,本文基于改进YOLOv3网络的行人和车辆检测方法是可行且有效的,具有深远的参考价值。
【学位单位】：南京邮电大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【文章目录】：
摘要
abstract
第一章绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 基于人工特征的行人和车辆检测
        1.2.2 基于卷积神经网络特征的行人和车辆检测
    1.3 要研究内容与论文组织结构
第二章目标检测的基本概念和相关理论
    2.1 卷积神经网络
        2.1.1 卷积层
        2.1.2 池化层
        2.1.3 损失函数
    2.2 目标检测组件
        2.2.1 建议框生成
        2.2.2 非极大值抑制
        2.2.3 边框回归
    2.3 实验数据集
    2.4 章小结
第三章多尺度特征转换迁移融合的YOLOv3 网络
    3.1 特征融合
        3.1.1 上采样
        3.1.2 反卷积
        3.1.3 尺度转换
    3.2 多尺度特征检测网络
        3.2.1 多尺度特征独立检测网络SSD
        3.2.2 多尺度特征融合检测网络FPN
    3.3 特征尺度转换迁移融合的YOLOv3 网络
        3.3.1 YOLO和 YOLOv3 网络
        3.3.2 融合方式
    3.4 实验过程与结果分析
        3.4.1 实验过程
        3.4.2 结果分析
    3.5 本章小结
第四章基于置信度优化和级联BBox回归的检测模型
    4.1 类间目标属性规律特征构造
        4.1.1 相关系数矩阵的类间目标属性规律特征构造
        4.1.2 指数归一化的类间目标属性规律特征构造
    4.2 级联BBox回归
        4.2.1 检测质量
        4.2.2 Cascade R-CNN目标检测模型
    4.3 实验过程与结果分析
        4.3.1 实验过程
        4.3.2 结果分析
    4.4 本章小结
第五章多尺度特征融合YOLOv3 网络和级联BBox回归的行人和车辆检测
    5.1 行人和车辆检测整体框架
    5.2 行人和车辆数据集
    5.3 不平衡样本处理方法
        5.3.1 类别平衡采样方法
        5.3.2 代价敏感方法
    5.4 K-means聚类方法
    5.5 实验过程与结果分析
        5.5.1 实验过程
        5.5.2 结果分析
    5.6 本章小结
第六章总结与展望
参考文献
附录1 攻读硕士学位期间申请的专利
附录2 攻读硕士学位期间参加的科研项目
致谢

【参考文献】