基于时空信息CNN物体检测方法的研究

发布时间：2020-08-14 18:22

【摘要】：近几年,对深度学习的研究取得了突破的进展,基于深度学习的物体检测任务在计算机视觉方面有着广泛的应用,如车载影像、机器人导航、无人驾驶等,因此物体检测成为了理论研究和应用的热点。目前,基于单帧的物体检测方法已经取得了很好的效果,但是在基于视频的物体检测中直接使用此方法还存在一些问题,如视频帧中出现模糊、失焦等情况,基于单帧的物体检测方法无法检测出此类物体。因此,本文对物体检测方法进行了研究,利用视频中相邻帧之间存在的相关性,融合了时间信息与空间信息,并对卷积神经网络模型进行改进,使物体检测的准确率得到提高。在基于卷积神经网络的物体检测方面,主要对卷积神经网络YOLOv3方法进行改进。本文通过对YOLOv3方法进行研究和分析,为解决YOLOv3方法对尺度中等或者较大的物体的检测效果不理想,容易出现漏检、误检、重复检测等问题,本文提出了改进的YOLOv3方法,在主网络之后添加两个残差块,与YOLOv3原有的3个不同尺度共同组成包括5个不同尺度的特征金字塔,在这5个不同尺度的特征图上进行预测。通过改进的方法,在检测出小物体的同时提高对中等尺度或大尺度物体检测的准确率。在视频中的物体检测方面,视频中含有丰富的时间信息和空间信息,基于单帧图像的物体检测中未考虑这些信息,无法检测出视频帧图像中模糊、失焦的物体。因此,为了提高物体检测的准确率,本文提出了时空信息融合方法,在本文中首先通过时间、空间信息分别对视频帧图像进行预处理,在时间上使用了光流法,在空间上使用了基于区域颜色对比度的方法,然后使用时空信息融合的方法将时空信息进行融合,最后使用改进的卷积神经网络模型进行物体检测得到检测结果。
【学位授予单位】：辽宁大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP183;TP391.41
【图文】：

特征图,多尺度

位置的准确性。其中置信度计算公式为：Pr( )*truthpredconfidence Object IOU(3其中若边界框内存在物体，Pr(Object)=1；否则 Pr(Object)=0。truthpredIOU 表示预测的物体边框和真实的物体边框的交集 Overlap(truth,pred)与它们并Union(truth,pred)的比值，其计算公式为：( , )( , )Area of Overlap truth predIOUArea of Union truth pred (3在 YOLOv3 方法中使用 Darknet 网络模型来实现特征提取，使用特征金塔(FPN)进行多尺度预测。Darknet 网络模型中包含了大量的卷积层，降低了网的训练难度。FPN 结构在原来单一的结构上修改的，将低尺度、高语义信息高层特征和高尺度、第语义信息的底层特征进行自上而下的侧边连接，使所的特征都包含丰富的语义信息。YOLOv3 方法在不同尺度的特征图上做预测每一幅特征图都融合了不同的语义特征，不同的分辨率，YOLOv3 方法多尺预测结构如图 3-1 所示：

特征图,重复检测,误检,特征图

在 YOLOv3 方法中最小的特征图是 13*13，并在此特征图上进行预测，使YOLOv3 方法对尺寸中等或者较大的物体的检测效果不理想，容易造成漏检、误检、重复检测等问题，如图3-2 所示。

物体检测,时间信息,视频序列,情景

第 4 章基于时空信息融合的 TS-CNN 的物体检测方法频中的物体检测的准确率。于视频的物体检测计算机图像处理领域，物体检测任务占有非常重要的地位，卷积神现使单帧图像的物体检测的速度与准确率都得到了明显的提升，部进行实时检测，但是在视频的物体检测任务中直接使用单帧图像的法还存在一些问题，视频中的物体会存在运动情况，使视频帧图像现被遮挡、模糊等问题，如图 4-2 所示，导致检测网络不能有效的检使基于视频的物体检测任务变得困难。

【参考文献】