基于多模态融合的特种车辆识别的研究与应用

发布时间：2020-07-10 17:03

【摘要】：随着大数据、云计算和5G技术的成熟,人工智能逐渐突破技术的瓶颈开始快速发展。近年来,人工智能技术在汽车领域的应用尤为重要。在“城市大脑”等智慧交通中,无人驾驶汽车也正在逐渐变为现实,其中车辆识别技术是智慧交通中的重要技术之一。常见的特种车辆有工程抢险车、救护车、警车、消防车等。由于特种车辆关系到解决社会应急问题,并且法律规定正在执行任务的特种车辆具有道路优先通行权,无人车对正在执行任务的特种车辆进行避让显得尤为重要。所以在车辆识别技术中,针对特种车辆的识别的研究具有重要的价值和意义。本文利用深度学习和多模态融合技术实现了一种特种车辆识别的研究与应用。通过获取声音、图像等多通道采集的多模态数据信息,建立多模态特种车辆数据集,利用高效的云平台计算能力,设计针对特种车辆识别的深度神经网络,完成小样本数据集的特种车辆图像和音频模型的训练,在深度学习和认知计算的基础上,实现了对道路上正在执行抢险救援等应急任务的特种车辆的实时检测和识别,进一步完成特种车辆的多模态融合识别和避让决策,具体工作包括如下。(1)通过收集和处理音视频的数据,构建包含特种车辆的图像和音频的多模态数据集。其中正样本包含工程抢险车、救护车、警车、消防车的图像和音频数据,负样本为普通车辆的图像和音频数据。(2)利用多模态信息融合方法对识别结果进行决策,提高识别精确率。设计了特种车辆图像识别算法、特种车辆音频识别算法和特种车辆多模态融合识别算法,实现对特种车辆图像及音频的识别。通过获取的多通道数据信息,对特种车辆进行检测、特征提取、识别和融合决策。对于融合后系统无法准确判断的结果,提示进行人工辅助操作,确保人类在无人驾驶中的优先级。(3)开发了基于Android的特种车辆识别应用程序。主要功能包括数据采集、特种车辆识别、多模态决策融合和驾驶指令执行。数据采集主要利用摄像头和麦克风实现特种车辆的视音频数据采集等功能。特种车辆识别模块主要包括特种车辆的图像识别和音频识别,并将识别的结果传递给多模态决策融合模块进行决策和判断。在多模态决策融合模块中,实现对正在执行任务的特种车辆的判断识别。最后通过驾驶指令执行模块,根据当前车辆和正在执行任务的特种车辆的相对位置,发出相应的驾驶指令。本研究提供的多模态融合的特种车辆识别方法,可为无人驾驶设备的智能化提供一种有效参考,在当前车联网技术尚未成熟和未来有人驾驶和无人驾驶共存的环境中,相关应用的实现可为未来智慧城市和无人驾驶的应用提供有效的解决方案。
【学位授予单位】：河南大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP18;TP391.41;U495
【图文】：

图像数据,特种车辆

过建立不同类别的特种车辆的图像和音频数据集，经过深度学习测试，根据图像和声音两种不同的模态对特种车辆进行识别，并多模态特种车辆数据集的建立建立了多模态特种车辆数据集（Multimodal Special Vehicle Datas集通过摄像头拍摄和麦克风收录的方式，分别对特种车辆的图像采集，并建立数据集。特种车辆图像数据集据库包含工程抢险车（Engineering Emergency vehicle，EE）、消、救护车（Ambulance，AC）、警车（Police Car，PC）和普通车（Ordi型车辆。每种类别的车辆从不同的拍摄角度和拍摄场景环境选择选取，MSV 图像数据集如图 3-1 所示。

样图,音频数据,训练集,测试集

据集的详细信息如表 3-1 所示。表 3-1 MSV 图像数据集车辆类型英文简称图像数量训练集数量测试集数量EE 100 70 30FT 100 70 30AC 100 70 30PC 100 70 30OV 100 70 30 特种车辆音频数据集过麦克风采集，分别收录了 EE、FT、AC、PC 以及 OV 五种不同种，以 MSV 中部分音频数据集，如图 3-2 所示。在 EE、FT、AC、P别的车辆分别展示包含两个音频数据样本的数据集，每个音频数据样图组成，用于后续实验中神经网络模型的训练和学习。

特种车辆,图像识别,普通车,实验结果

图 3-5 特种车辆图像识别实验结果对比在本实验中，EE 和 FT 均识别正确。AC 的识别中，存在未能把救护车识别为错把普通车识别为救护车的情况，实验结果分别如图 3-5(a)，图 3-5(b)所示。情况是因为当前救护车与普通车的车型均为三厢面包车，且测试图像中车辆的和大小极为相似，从而导致错误检测。警车的识别中，错将普通车识别为警车，该测试图像中的普通车车型和颜色与相似，均为三厢 SUV，警车误检结果如图 3-6(c)所示。普通车的识别存在部分错误，测试图像中的车辆为跑车，普通车辆训练集中关数据较少，导致普通车漏检的情况发生，普通车的误检结果如图 3-6(d)所示。

【参考文献】