基于深度学习的智能汽车容错感知与决策控制方法研究

发布时间：2020-03-21 04:21

【摘要】：随着硬件设备和人工智能算法的不断发展,人工智能已经渗透到生活的各个方面,人工智能辅助甚至完全替代人类操作成为一种趋势。智能汽车(IV)搭载的先进驾驶辅助系统(Advanced Driving Assistance System,ADAS)利用安装在车上的多种传感器,在汽车行驶过程中实时感应周围的环境,采集数据,进行静态、动态目标的识别、检测与追踪,并结合导航仪地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效地增加了汽车驾驶的舒适性和安全性。ADAS系统被中国汽车行业视为“弯道超车”欧美及日本等汽车强国的最佳途径。然而,传统ADAS系统结构往往以其中所有环节正常工作为前提所设计,实际应用中缺乏容错机制。2016年7月发生的特斯拉自动驾驶致人死亡事故,依赖于摄像头传感器的系统将白色卡车车身上的反光判别成天空区域;2018年发生的Uber自动驾驶系统碰撞行人导致行人死亡的事故,由于夜晚,摄像头发现行人的时间过晚,Lidar系统发现行人却没有被系统采信,而最后时刻发现行人准备采取紧急制动时,系统为了保持汽车姿态没有采取行动。针对出现的种种问题,ADAS系统亟需在容错上取得进展。本文在ADAS系统的传统架构“数据采集—目标检测—决策”中融入容错思想,改进为“数据采集—数据恢复/增强—场景预测—目标检测一增强学习决策”架构,以实现智能汽车的容错感知与决策控制的目的。具体内容如下:1.针对恶劣天气(雨雾天气)对摄像头传感器产生干扰的问题,提出三种改进的图像去雾霾算法。首先,针对传统方法实时性不佳的问题,提出一种改进的基于暗通道优先(Dark Channel Prior,DCP)的去雾算法,优化区域计算为像素计算,使之能够在一次遍历中评估出所有参数,并通过数据统计对产生的误差和按照通道(RGB通道)进行补偿。实验结果表明改进算法的速度是原始算法的10倍以上。其次,为了克服传统基于先验经验的方法存在适用范围的局限性,引入深度学习方法对雾霾图像进行恢复。为了克服深层网络在传播数据过程中产生的数据损失,采用浅层网络,逐“部”(block)逼近的方法,并改进损失函数为峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(structural similarity index measurement,SSIM)的加权和。实验数据由深度图片数据库(Make3D和NYU Dataset)和雾霾模型构造而成,结果显示网络在堆叠到3层时,恢复效果和运算速度会达到最佳平衡点。最后,为了克服去雾数据样本少,端对端模型泛化能力弱的问题,采用条件生成式对抗网络(Conditional Generative Adversarial Networks,CGAN)的方法恢复雾霾图像,实验表明基于条件生成式对抗神经网络能够在数量较少的训练数据集中获得足够的泛化能力。2.为了向ADAS系统决策提供更多的依据,为传感器提供冗余数据,保证ADAS在面对传感器故障时有足够的时间进行应急操作,利用循环神经网络(Recurrent Neural Networks,RNN)对场景(雷达信号和视频信号)进行预测。首先,传统RNN在学习长序列时,由于梯度随时间反向传播(Backpropagation Through Time,BPTT)时会产生梯度衰减和梯度爆炸问题。传统的解决方法包括使用改进的激活函数(如Rectified Linear Unit,ReLU),增加L2-正则化,使用“门”控制(如 Long Short-term Memory,LSTM和Gated Recurrent Unit,GRU)。本文将残差学习引入到RNN中,提出了一种残差循环神经网络(Residual RNN,Res-RNN)。残差学习将梯度传递从连乘转化为连加,使梯度传递变为恒等映射。实验表明Res-RNN能够在大大缩短训练时间和预测时间的前提下,提供与LSTM和GRU相同的网络能力。其次,在场景预测中,将传感器采集到的信号视为时间序列,则雷达信号为一维时间序列,Res-RNN能够有效的预测雷达信号,继而将视频信号视为二维时间序列,将Res-RNN中的全连接部分替换为卷积操作提出Res-rCNN,预测视频信号,实验表明残差学习和RNN的结合为RNN的梯度问题提供了新的解决方案,并且能够有效地预测场景。最后,前文以及前人的场景预测方法是以短时间内智能汽车的运动状态保持稳定为前提,考虑到智能汽车有自主改变运动状态的能力,提出一种将视频信号和操作信号作为输入的视频信号预测网络——移动预测网络,该网络能够根据驾驶员的操作对预测信号进行调整。实验表明移动预测网络能够准确预测运动状态突变时的场景。3.为了给ADAS系统提供更多的环境感知信息,对雷达类主动传感器提供信息冗余,甚至在雷达传感器工作失效时加以替代,提出一种加强的目标检测方法。该方法将序列学习和目标检测结合,从一段视频中预测目标种类,位置信息,以及相对位置和相对速度。在数据方面,使用Kitti数据库、Prescan产生的数据库以及Carla仿真环境标注目标类型、位置、相对距离和相对速度。在模型方面,序列学习使用上文提出的Res-rCNN,其中,残差部分引入Inception结构,为模型增加尺度不变性。模型通过一系列改进,使检测能力和速度预测能力达到较高水平。实验表明加强的目标检测方法能够准确地预测目标的种类,位置,以及相对距离和相对速度。4.为了提高ADAS系统的决策能力,克服传统决策方法依赖于规则库和端对端驾驶控制中的开环映射问题,提出一种基于深度学习的决策控制方法解决方案。首先,为了克服智能汽车无法理解文本交通法规,且现行算法没有对交通规则进行特别的关注,提出一种文本边界增强学习决策控制方法。该算法集合了GAN网络非监督学习的特点和梯度优化能在连续域中做出决策的特点。除此之外,文章引入自然语言学习的理念,使增强学习能够学习交通法规。具体地,神经网络通过采集的正负样本学习交通法规得到交通法规文本的特征,并将此表示作为条件,训练神经网络做出的决策实现控制目标并不违反交通规则。实验表明文本边界增强学习方法能够很好地操作汽车,并且遵守文本法律。另外,为了克服基于深度学习普遍是前馈控制,状态和指令无法做到一一映射,利用内容2中对场景的预测,将预测网络加入到闭环回路中,与实际场景进行对比,为训练驾驶系统提供更多的信息和限制,提高了驾驶的安全性。实验表明闭环的端对端方法控制更加准确,对输入噪声的鲁棒性更强。论文通过Prescan,Carla等仿真环境,以及Kitti等公开数据集,分步展示实验结果和本文方法的性能,并与当前主流算法进行对比。在数据使用方面,综合使用公开数据集和仿真场景提高训练效果。
【图文】：

示意图,系统结构,示意图,环境感知

在具体实现中，由于模型的耦合和共享，智能汽车的框架会简化为“数据采逡逑集一一环境感知一一决策控制＇其中：逡逑？数据采集模块：数据采集模块从各个传感器中采集数据，，感知周围环境逡逑信息（道路信息，车辆信息，行人信息），智能汽车本身状态（行驶状态，逡逑汽车系统状态，智能信息系统状态）和驾驶员状态（生理状态等）的原逡逑始数据，并将它们按照一定的形式融合起来。逡逑＊环境感知模块：环境感知模块从数据懫集模块中获得的海量数据，并完逡逑成目标检测，路标识别，驾驶员疲劳状态感知等任务。环境感知模块将逡逑原始数据转化为系统可以理解数据，为决策做准备。逡逑＊决策控制模块：决策控制模块根据环境感知模块提取的环境信息、驾驶逡逑员偏好、汽车车况和状态等做出决策，并生成控制信号传输给执行机构。逡逑针对各个模块的软硬件实现一直是研究的热门领域，在这一方面，传统方法逡逑与深度学习方法＾１交织，呈现出互相促进、互相吸收的局面。逡逑

多层感知器,结构示意图,函数,权重矩阵

出预测量和标记等。逡逑１．３．１多层感知器逡逑典型的多层多层感知器模型如图１．３所示［８１］。第Ａ：层网络的输出向量逡逑上一层的输出向量ｈｆ计算得到，输入向量ｘ可以被视为，逡逑ｈ＇二邋ｔａｎｈ（ｂｆｃ邋＋Ｗ．－＇），逦（１．１）逡逑其中，为偏置向量，Ｍ为权重矩阵。其中ｔａｎｈ是逐元素计算的，可以被其他逡逑激活函数替代，如ｓｉｇｍｏｉｄ函数，ＲｅＬＵ函数，ｅＬＵ函数，ＳｅＬＵ函数等。在输出逡逑层，为了表示分类类别，一般使用ｓｏｆｔｍａｘ函数，逡逑ｅｂ！邋＋邋ＭＷ逡逑￣逦ｅｂ；，＋ｗ＾ｂ－－＇，逦（Ｌ２）逡逑其中，Ｍ为权重矩阵Ｗ的第ｊ行，ｈ丨为正，．ｈｊ邋＝邋Ｉ。逡逑ｈ逡逑图１．３多层感知器结构示意图逡逑１３逡逑
【学位授予单位】：浙江大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP18;U463.6

【相似文献】