基于卷积神经网络的交通信号灯实时识别方法研究
发布时间：2020-11-11 04:59
交通信号灯识别包括检测和状态识别,在智能交通系统中发挥重要作用,是自动驾驶汽车的重要感知模块。实际道路环境下交通信号灯种类多样,相较于车辆、行人等目标具有尺度小的特性,给识别增加了诸多困难。本文基于卷积神经网络提出了一种交通信号灯识别方法,该方法具备以下特点:能够检测远距离小尺度交通信号灯,能够识别多个类别交通信号灯,具备一定的交通信号灯跟踪能力。本文工作如下:在交通信号灯检测方面,本文基于YOLOv3算法,通过改进特征提取、调整特征融合方式及尺度、优化损失函数来提升交通信号灯的检测效果。首先,降低骨干网络的下采样倍率以增加小尺度目标的特征表达能力,并引入特征金字塔池化进行局部特征和全局特征的融合,增加了网络提取特征的表达能力,实验结果表明降低下采样倍率和特征金字塔池化能够带来mAP值2%左右的提升。其次,增加一组特征图构成双特征融合,促进高位置信息的浅层特征和高语义信息的深层特征有效融合,实验结果表明双特征融合能够带来mAP值4%左右的提升;同时,增大融合特征的大小有助于小尺度交通信号灯的检测。最后,引入GIoU作为检测任务的损失函数,相较于使用IoU或矩形框中心点坐标的均方误差,GIoU关注物体之间的不重叠程度,能够改进目标边界框的回归效果;此外,提出了矩形相似度结合GIoU作为新损失函数来提升边界框回归效果,实验表明新损失函数能够带来mAP值1%～2%的提升。为了满足自动驾驶感知模块实时性的要求,本文采取增减其检测头的数量、改变输入图像的分辨率和模型剪枝来做了加快模型计算速度的尝试,实验表明小型骨干网络也可以在较高输入分辨率和多个检测头下,在准确率和计算速度取得显著的成绩;同一算法采用的检测头个数越多,计算速度越慢,检测准确率越高;输入分辨率的增加也能够带来检测准确率的提升;剪枝能够大幅减少模型的参数量、FLOPs和计算速度,且下降程度随着剪枝率增加而增加,并且保证了准确率基本不变。本文针对物体检测算法的检出结果,通过形状和颜色约束的后处理算法对交通信号灯的状态进行判断。可以有效提升多种交通信号灯的识别准确率。此外,本文设计了一个简单的CNN分类模型,对其进行单独训练并将其加在物体检测算法的后面,CNN分类模型在自建的训练集和测试集都达到了99%以上的准确率。实验表明,在检测算法之后再进行状态判断,这种方式对于交通信号灯识别是有效的。为了稳定检测和识别结果,在交通信号灯跟踪方面,本文使用一个基于运动模型的方法来估计交通信号灯相对于车辆坐标系的运动,以此来预测下一帧图像中交通信号灯的位置,并使用一个神经网络来修正跟踪矩形框。该跟踪方法具有跟踪大于10个像素宽度交通信号灯的能力。图[35]表[7]参[58]。
【学位单位】：安徽建筑大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41;TP183;U491.5
【部分图文】：
安徽建筑大学硕士学位论文第三章基于YOLOv3改进的交通信号灯检测-27-的情况。考虑到竖排交通信号灯的灯板具有相似的外观结构，本文针对这一特性，在GIoU的基础上增加一个矩形相似度的概念来提升交通信号灯检测的性能，矩形相似度更加关注边界框的相似程度，它只能作为GIoU或者IoU的补充项，如图3-6(c)所示。先求出两个矩形框左上角到右下角的向量表示11(x,y)和22(x,y)。则矩形相似度的表达式如式3-4所示。121222221122xxyySimxyxy（3-4）对于二维物体检测任务来说，A、B都是简单的矩形，而且对于它们之间的交集和封闭形状都是矩形。它们的顶点坐标仅仅是被比较的两个边界框中的一个的坐标，可以通过使用min和max函数比较每个顶点的坐标来实现。算法总损失函数仍然是由定位损失、分类损失和置信度损失组成，定位损失部分由原来的目标框中心坐标的均方误差替换成GIoU和矩形相似度，如式3-5所示。(1-)+(1-)++giousimclsclsprobprobLossGIoUSimlossloss（3-5）其中，giou表示GIoU所占的权重，sim表示矩形相似度所占的权重，clsloss表示分类损失，cls表示分类损失的权重，probloss表示置信度损失,prob表示置信度损失的权重。本文把综合运用GIoU和矩形相似度作为损失函数的方法称为SGIoU。与IoU不同的是，SGIoU不仅关注重叠的区域，而且SGIoU的值更能反映两个对称图形之间是如何重叠的。考虑在两个边界框不重叠的情况下，选取IoU作为损失，这一部分的梯度全为0，而选取SGIoU作为损失，GIoU和矩形相似度都不会为0，仍然会产生一定的梯度。SGIoU相较于IoU会产生一个更陡的梯度，更有助于网络的收敛。3.4实验与分析图3-7BSTLD的样例及标签
安徽建筑大学硕士学位论文第三章基于YOLOv3改进的交通信号灯检测-28-本节对上述网络模型进行了训练和评估，主要的实验数据集为BSTLD（BoschSmallTrafficLightsDataset，Bosch交通信号灯数据集）[15](http://k0b.de/bstld)。BSTLD数据集使用HDR相机在SanFrancisco，US的街道上通过车载相机采集，图像分辨率为1280×720，具有超过5000幅的训练集样本，包含15个类别、10756个标注的交通信号灯。采集的场景以及交通信号灯标注的标签信息如图3-7所示，可以看出，城市中遍布着大量的路口、交通信号灯，采集的一副图像中可能会出现不同路口的交通信号灯。该数据集中交通信号灯灯板的状态样例如图3-8所示，其中有极少数灯板由于远距离导致肉眼不能分辨。图3-8BSTLD的交通信号灯状态样例此外，本文还在安徽省合肥市的大别山路附近的城区道路上进行了实车验证。智能驾驶实验平台采用中科院“智能先锋”号智能车，相机分辨率为1624×1234，镜头焦距为25毫米。实验场景交通信号灯标注的标签信息如图3-9所示。图3-9实际场景交通信号灯样例及标签
安徽建筑大学硕士学位论文第三章基于YOLOv3改进的交通信号灯检测-28-本节对上述网络模型进行了训练和评估，主要的实验数据集为BSTLD（BoschSmallTrafficLightsDataset，Bosch交通信号灯数据集）[15](http://k0b.de/bstld)。BSTLD数据集使用HDR相机在SanFrancisco，US的街道上通过车载相机采集，图像分辨率为1280×720，具有超过5000幅的训练集样本，包含15个类别、10756个标注的交通信号灯。采集的场景以及交通信号灯标注的标签信息如图3-7所示，可以看出，城市中遍布着大量的路口、交通信号灯，采集的一副图像中可能会出现不同路口的交通信号灯。该数据集中交通信号灯灯板的状态样例如图3-8所示，其中有极少数灯板由于远距离导致肉眼不能分辨。图3-8BSTLD的交通信号灯状态样例此外，本文还在安徽省合肥市的大别山路附近的城区道路上进行了实车验证。智能驾驶实验平台采用中科院“智能先锋”号智能车，相机分辨率为1624×1234，镜头焦距为25毫米。实验场景交通信号灯标注的标签信息如图3-9所示。图3-9实际场景交通信号灯样例及标签
【参考文献】
本文编号：2878777
【学位单位】：安徽建筑大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41;TP183;U491.5
【部分图文】：
安徽建筑大学硕士学位论文第三章基于YOLOv3改进的交通信号灯检测-27-的情况。考虑到竖排交通信号灯的灯板具有相似的外观结构，本文针对这一特性，在GIoU的基础上增加一个矩形相似度的概念来提升交通信号灯检测的性能，矩形相似度更加关注边界框的相似程度，它只能作为GIoU或者IoU的补充项，如图3-6(c)所示。先求出两个矩形框左上角到右下角的向量表示11(x,y)和22(x,y)。则矩形相似度的表达式如式3-4所示。121222221122xxyySimxyxy（3-4）对于二维物体检测任务来说，A、B都是简单的矩形，而且对于它们之间的交集和封闭形状都是矩形。它们的顶点坐标仅仅是被比较的两个边界框中的一个的坐标，可以通过使用min和max函数比较每个顶点的坐标来实现。算法总损失函数仍然是由定位损失、分类损失和置信度损失组成，定位损失部分由原来的目标框中心坐标的均方误差替换成GIoU和矩形相似度，如式3-5所示。(1-)+(1-)++giousimclsclsprobprobLossGIoUSimlossloss（3-5）其中，giou表示GIoU所占的权重，sim表示矩形相似度所占的权重，clsloss表示分类损失，cls表示分类损失的权重，probloss表示置信度损失,prob表示置信度损失的权重。本文把综合运用GIoU和矩形相似度作为损失函数的方法称为SGIoU。与IoU不同的是，SGIoU不仅关注重叠的区域，而且SGIoU的值更能反映两个对称图形之间是如何重叠的。考虑在两个边界框不重叠的情况下，选取IoU作为损失，这一部分的梯度全为0，而选取SGIoU作为损失，GIoU和矩形相似度都不会为0，仍然会产生一定的梯度。SGIoU相较于IoU会产生一个更陡的梯度，更有助于网络的收敛。3.4实验与分析图3-7BSTLD的样例及标签
安徽建筑大学硕士学位论文第三章基于YOLOv3改进的交通信号灯检测-28-本节对上述网络模型进行了训练和评估，主要的实验数据集为BSTLD（BoschSmallTrafficLightsDataset，Bosch交通信号灯数据集）[15](http://k0b.de/bstld)。BSTLD数据集使用HDR相机在SanFrancisco，US的街道上通过车载相机采集，图像分辨率为1280×720，具有超过5000幅的训练集样本，包含15个类别、10756个标注的交通信号灯。采集的场景以及交通信号灯标注的标签信息如图3-7所示，可以看出，城市中遍布着大量的路口、交通信号灯，采集的一副图像中可能会出现不同路口的交通信号灯。该数据集中交通信号灯灯板的状态样例如图3-8所示，其中有极少数灯板由于远距离导致肉眼不能分辨。图3-8BSTLD的交通信号灯状态样例此外，本文还在安徽省合肥市的大别山路附近的城区道路上进行了实车验证。智能驾驶实验平台采用中科院“智能先锋”号智能车，相机分辨率为1624×1234，镜头焦距为25毫米。实验场景交通信号灯标注的标签信息如图3-9所示。图3-9实际场景交通信号灯样例及标签
安徽建筑大学硕士学位论文第三章基于YOLOv3改进的交通信号灯检测-28-本节对上述网络模型进行了训练和评估，主要的实验数据集为BSTLD（BoschSmallTrafficLightsDataset，Bosch交通信号灯数据集）[15](http://k0b.de/bstld)。BSTLD数据集使用HDR相机在SanFrancisco，US的街道上通过车载相机采集，图像分辨率为1280×720，具有超过5000幅的训练集样本，包含15个类别、10756个标注的交通信号灯。采集的场景以及交通信号灯标注的标签信息如图3-7所示，可以看出，城市中遍布着大量的路口、交通信号灯，采集的一副图像中可能会出现不同路口的交通信号灯。该数据集中交通信号灯灯板的状态样例如图3-8所示，其中有极少数灯板由于远距离导致肉眼不能分辨。图3-8BSTLD的交通信号灯状态样例此外，本文还在安徽省合肥市的大别山路附近的城区道路上进行了实车验证。智能驾驶实验平台采用中科院“智能先锋”号智能车，相机分辨率为1624×1234，镜头焦距为25毫米。实验场景交通信号灯标注的标签信息如图3-9所示。图3-9实际场景交通信号灯样例及标签
【参考文献】
相关期刊论文 前4条
1 周宣汝;袁家政;刘宏哲;杨睿;;基于HOG特征的交通信号灯实时识别算法研究[J];计算机科学;2014年07期
2 谷明琴;蔡自兴;黄振威;何芬芬;;城市环境中箭头型交通信号灯的实时识别算法[J];中南大学学报(自然科学版);2013年04期
3 谷明琴;蔡自兴;李仪;;应用圆形度和颜色直方图的交通信号灯识别[J];计算机工程与设计;2012年01期
4 徐成;谭乃强;刘彦;;基于Lab色彩空间和模板匹配的实时交通灯识别算法[J];计算机应用;2010年05期
本文编号：2878777
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2878777.html
