基于深度学习与虚拟数据的车辆识别与状态估计研究

发布时间：2020-03-26 14:47

【摘要】：智能化是未来汽车技术发展的重要方向,而环境传感感知是智能驾驶系统的重要组成部分。由于其低成本、采集信息丰富且对周围环境和其它传感器无影响等优势,车载相机一直是智能驾驶最常用的环境传感器之一。然而基于图像处理技术的目标识别和状态估计仍然具有很大的挑战。对车辆这一重要交通参与物的识别与状态估计一直以来是智能驾驶系统的研究热点。近些年来由于硬件计算性能的提升以及大量带有真值标注数据集的出现,数据驱动的深度神经网络在目标识别领域取得了巨大的成功。这些研究方法同样在车辆识别中得到了广泛的应用。这类方法以图像为输入,以目标车辆在图像坐标系下的2D包围盒作为输出。虽然这些研究方法同样适用于对车辆的识别,但其研究普遍针对通用型目标检测,并没有为针对车辆这种特定目标进行优化,这使得将这类方法应用于车辆2D包围盒检测时并不准确,也不高效。此外,通用目标检测器一般输出的是图像坐标系下车辆的2D包围盒信息,不能产生智能驾驶系统所需目标车辆的位置、姿态和尺寸等信息,而这些信息是支持汽车智能驾驶精准决策的关键参数。对目标车辆进行3D包围盒状态估计是更加有意义的任务。通常的做法是使用诸如激光雷达等其它带深度信息的传感器信号并与图像信号融合。然而激光雷达传感器价格昂贵并不实用,使用单目相机完成这个任务很难取得令人满意的精度,技术上具有很强的挑战性,也鲜有相关的研究。基于数据驱动的深度学习方法为车辆识别与状态估计提供了一条极好的解决途径。但此类方法需要大量带有标注的数据集进行模型训练。卷积神经网络越复杂,参数越多,网络可能有更高的拟合能力,但同时也需要更多的数据用于模型训练。然而,在真实世界中采集图像数据并对数据进行人工标注不仅十分繁琐,而且可能导致标注不精确和不统一。虚拟数据是基于计算机图形学技术,通过建模与3D渲染产生的模拟数据。相比于真实数据集,虚拟数据集不仅生成容易,且标注准确、可自动化。随着近年来计算机软硬件技术的不断发展,虚拟数据的逼真度也在不断提高,在模型训练上可一定程度上替代真实数据集。然而,目前的虚拟数据还远不足以完全替代真实数据并广泛应用于深度学习的模型训练,如何生成高逼真度且具有丰富内容变化的虚拟数据集还有待于进一步研究,其各个关键成像因素对于最终检测结果的影响机理尚需进一步探索。相比于2D包围盒的标注,在图像数据上进行3D包围盒的标注更加困难。虚拟数据则可进行自动的3D包围盒标注,并且标注结果统一且准确。虽然使用虚拟数据集进行3D包围盒状态估计的模型训练具有明显优势,但相关的应用却很少见,如何缩小虚拟数据与真实数据之间的域差,使得基于虚拟数据训练的模型能够在实际应用中获得良好的效果依然是一项挑战。针对上述问题,本文对车辆的2D包围盒检测、3D包围盒状态估计和虚拟数据集的生成与应用等开展了深入的研究。主要研究内容如下:1.本文在原始Faster R-CNN目标检测器的基础上开展了针对车辆2D包围盒检测的优化研究。在区域候选阶段,本文首先通过特殊的网络设计方法生成了多形状的感受野,使得感受野的形状更加适合于车辆2D包围盒检测。然后根据感受野的形状,以成像时的透视效应作为先验知识,优化了锚框的生成方式,使得锚框能够更加精确地覆盖真实车辆2D包围盒,减少了无效锚框的数量。最后,在候选区域分类回归阶段,本文根据候选区域的大小和各个特征图的特征步长,对候选区域进行了分配,使得特征图中所包含的信息量更加适用于最后的预测。相比于传统的未经优化的原始方法,本文提出的方法明显地提升了检测精度与检测速度。2.本文在之前车辆2D包围盒检测的基础上提出了一种新的车辆3D包围盒状态估计方法。本文首先利用当前单目视觉像素级深度估计方法生成深度图,通过几何运算方法生成了伪点云数据,并结合当前基于点云数据的方法对车辆进行3D包围盒状态估计。本文还通过伪点云位置数据进行法向量估计,并将其应用到车辆3D包围盒状态估计;实验证明该法向量数据提升了状态估计的性能。此外,本文还进一步提出了专门用于伪点云信号处理的自注意力模块,对伪点云位置信息、法向量信息与RGB信息进行融合,进一步提升了状态估计的性能。3.本文提出了一种基于域随机化的虚拟数据集生成与标注方法,并使用虚拟数据集全部或部分替代真实数据集用于模型训练。通过基于物理的渲染方法,虚拟图像能够获得较高的逼真度。同时本文采用域随机化方法将影响较大的成像因素参数在一定范围内进行随机化处理,以丰富虚拟数据集的变化,避免模型的过拟合现象。真实感虚拟数据与非真实感虚拟数据都被引入以发挥各自不同的优势。为验证本文提出的方法,本文设计了一组以同一车辆2D包围盒检测算法为测试基准的对比实验,结果表明本文提出的虚拟数据集相较于其它虚拟数据集有着明显的性能优势。此外,本文还详细分析了各个成像因素的随机变化对最终检测结果的影响,以及在使用虚拟数据集进行预训练然后采用少量真实数据集进行微调时模型所能达到的性能。4.结合本文提出的车辆3D包围盒状态估计方法与虚拟数据集,本文进一步研究了基于虚拟数据集的3D包围盒状态估计方法。由于源域虚拟数据集与目标真实数据集之间有着明显的域差,使用虚拟数据集训练出的网络模型在实际测试中通常难以获得良好的性能,这个问题在3D包围盒状态估计中尤为突出。本文一方面提出了对原始虚拟数据进行增强处理的方法,使得模型能够学习到可以对抗干扰的特征;另一方面提出了在特征提取阶段进行无监督对抗训练域适应的方法,对齐源域与目标域的特征分布,从而提升了基于虚拟数据集训练模型的性能。整个过程不需要真实数据集的3D包围盒标注。
【图文】：

自主驾驶,辅助驾驶,车辆

主动控制车辆以部分取代驾驶员的驾驶操作，直至最终完全取代驾驶员操作并实现无人驾驶，将人这个不可靠因素从驾驶链中剥离。近年来大数据、人工智能、物联网等技术的飞速发展也极大地促进了智能车辆技术的发展，各个汽车产业大国以及各大相关企业也在对智能化车辆技术进行布局。从美国开始的 DARPA 智能车挑战赛[2]掀开了智能化车辆技术研发的序幕，中国近年来也通过开展 “中国智能车未来挑战赛”[3]等许多赛事促进相关研究。另一方面， Google[4]开发了自主驾驶车辆并进行大量的路测，取得了丰硕的成果；百度也开发了面向汽车行业及自动驾驶领域的 Apollo[5]软件平台等。种种迹象表明，车辆智能化是未来的发展趋势。美国汽车工程协会 SAE 将自主驾驶系统按照其自动化程度分为六个等级[6]，分别是完全驾驶员驾驶，辅助驾驶、部分自主驾驶、有条件自主驾驶，高度自主驾驶以及最终的完全自主驾驶。虽然在当前情况下全路况的完全自主驾驶系统离真正产业化还有一段距离，但是各种类似车道保持系统 LKS[7]，自适应巡航系统 ACC[8]，自动泊车系统 AP[9]等智能辅助驾驶系统和部分自动驾驶系统已经走入了日常生活。各种自主驾驶车辆和辅助驾驶系统如图 1.1 所示。

丰富性,图像,车辆技术

吉林大学博士学位论文作为智能化车辆技术的重要组成部分，环境传感感知技术一直以来都是研究重点。诸如相机[10]，毫米波雷达[11]，激光雷达[12]，超声波雷达[13]，高精度 GPS[14]，车载通信系统[15]等等传感系统都被用来实现智能化车辆技术。相机作为重要的传感器有着其它传感器所不具有的优势：成本低廉，对周围环境和其它传感器无干扰，同时能够获取非常丰富的信息，包括周围的车辆及障碍物[16]，车道线[17]，路面标志[18]，交通信号灯[19]，行人[20]，交通标志[21]等等，如图 1.2 所示。这些信息的识别与提取对于汽车自主驾驶至关重要。事实上，，对于人类驾驶员而言，人眼的视觉传感在驾驶过程中是最为重要的信息来源。人类驾驶员能够通过视觉信号对周围的环境进行感知，识别并定位关键的目标，然后进行决策判断，进而安全地控制车辆。
【学位授予单位】：吉林大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP18;U463.6

【相似文献】