基于高光辅助和域适应的夜间车辆检测

发布时间：2020-05-05 06:50

【摘要】：夜间车辆检测需要我们根据夜间场景图像预测车辆的类别以及位置。该任务在自动驾驶系统(ADS)和辅助驾驶系统(DAS)中扮演不可或缺的角色。然而,夜间车辆检测有以下几个难点:(1)由于夜间光照较低,车辆的视觉特征难以识别,这给基于视觉的方法带来了很大的挑战。(2)夜间场景中车辆具有较大的类内差异,譬如对向行驶的车的头灯为白色,而同方向行驶的车的尾灯为红色,这会加大特征表达的难度。(3)相比于白天车辆数据,夜间车辆的数据比较匮乏;但是白天场景和夜间场景的视觉特征差异很大,利用白天场景训练的模型无法直接应用于夜间场景。车灯和其相应的车身反光,本文统称为车辆高光,是夜间场景中值得信赖的视觉特征。因此,有效地利用车辆高光信息可以在性能上得到较大的改进。针对有充分标记训练数据的夜间车辆检测任务,本文提出了一种基于车辆高光信息的夜间车辆检测框架。首先,本文生成了一个高细粒度的车辆高光检测器,并创建了车辆标签层级结构,以扩大类间差异和减少类内差异。然后,本文提出了一种多尺度高光特征和车辆视觉特征的融合机制,以及一种端到端的高光融合网络。由于采用了独特的车辆高光融合机制,本文所提出的方法的性能优于目前最先进的方法。同时,本文的方法迁移到不同的主流检测网络后都有较大帮助,说明本文的方法的泛化性很强。另外,在无监督域适应的夜间场景任务中,本文引进循环生成对抗的思想来拉近源域和目标域的距离。本文提出的方法超越现有最先进的目标检测的域适应方法。本文的主要贡献有以下几点:1、本文提出了两种新的融合网络,这两种网络通过学习来自动平衡车辆高光和车辆自身不同层次的视觉特征的重要性,从而适应大多数情况,甚至可以容忍车辆高光检测的误差。另外,本文发现除了车灯,车身反光也可以提供丰富的车辆位置提示信息,因此额外考虑车身反光可以大幅提升夜间车辆检测的精确度。2、本文提出一个基于伪标签迭代训练的神经网络,为车辆以及车辆高光划分子类。子类标签和原类别标签共同构成标签层级。本文基于标签层级的训练机制可以解决类内差异大的问题。3、本文提出一个针对夜间车辆检测的域适应框架。本文把生成对抗思想引入到域适应中,从图像层次和目标层次拉近源域和目标域的距离。提出的方法超越现有最先进的目标检测的域适应方法。
【图文】：

可能缓解域差异带来的影响，但是这么做非常的不明智，因为标记边界框的工作既昂贵又费时。相比于夜间车辆数据集，白天场景车辆数据集（例如 KITTI[44]，VOC[45]，LSVH[71]等）非常丰富。如果能合理利用海量的白天场景的数据集，模型的泛化性会大幅提升。但是白天场景和夜间场景的视觉特征差异很大，利用白天场景训练的模型无法直接应用于夜间场景。因此，使目标检测模型适应于一个与初始训练集视觉特征分布不同的新场景是非常必要的。调研结果显示，目前比较少人关注目标检测领域的域适应研究。Chen 等人[63]首次提出一个能在图像级别和实例级别拉近源域和目标域差异的端到端的目标检测框架DA-Faster，以学习域间共同的特征。但是这个方法存在以下局限性：DA-Faster 试图在不可控的特征空间中拉近域间距离，极有可能拉近源域前景和目标域背景特征分布的距离，，或者拉近源域背景和目标域前景特征分布的距离。1.2 本文工作

网络结构用VGG16[69]作为特征提取网络。VGG模型是2014年IL人们在提取深度特征时常常会用到 VGG。图 3-1 展示了nv3-64”表示卷积层的卷积核大小为 3，输出的通道数且可以较好的提取深度特征，因此本文以 VGG16 作为图 3-1 VGG[69]网络结构网络结构r RCNN
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：U495;TP391.41

【参考文献】

中国硕士学位论文全文数据库 前2条

1 谢敏珊;基于感知损失的深度卷积网络的草图简化研究[D];华南理工大学;2018年

2 肖永杰;基于卷积神经网络的多尺度车辆检测及其域自适应研究[D];华南理工大学;2018年

本文编号：2649711