基于视觉感知的多模态多任务端到端自动驾驶方法研究

发布时间：2023-04-20 04:46

　　由于深度学习特别是卷积神经网络在计算机视觉领域取得了令人瞩目的成功,基于计算机视觉和深度学习的自动驾驶技术得到了快速发展。当前端到端自动驾驶系统的研究方法主要是采用图像或图像序列作为输入,使用卷积神经网络直接预测方向盘转角,取得了较好的效果,但仅通过方向盘转角并不足以完成自动驾驶车辆的控制。因此,本文提出了一个基于端到端学习的多模态多任务神经网络模型,能够同时预测车辆的方向盘转角和速度,实现自动驾驶车辆的横纵向控制。主要研究内容如下:基于GTAV虚拟游戏搭建了适合进行自动驾驶数据采集和测试的仿真平台,该仿真平台能够有效缩短算法开发时间和降低开发成本,并能够直观地测试算法模型的效果。为解决自动驾驶的横纵向控制问题,将方向盘转角序列和速度序列作为额外的模态信息输入,在深度卷积神经网络CNN的基础上,引入了长短时记忆神经网络LSTM,提出了CNN-LSTM多模态多任务神经网络模型,以端到端的方式同时预测方向盘转角和速度。在GTAV数据集上进行神经网络模型的训练和测试,实验结果验证了CNN-LSTM多模态多任务神经网络模型实现自动驾驶车辆横纵向控制的可行性和有效性,表明该模型能够较为准确地预测...

【文章页数】：98 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 自动驾驶技术的研究现状
        1.2.2 自动驾驶系统的研究现状
    1.3 研究内容
    1.4 论文的章节安排
    1.5 技术路线
第二章 深度学习及端到端自动驾驶理论基础
    2.1 引言
    2.2 人工神经网络
        2.2.1 神经元模型
        2.2.2 网络结构
        2.2.3 反向传播算法
    2.3 深度学习
        2.3.1 卷积神经网络
        2.3.2 循环神经网络(RNN)
        2.3.3 长短时记忆神经网络
    2.4 基于端到端学习的自动驾驶研究
    2.5 本章小结
第三章 自动驾驶仿真平台
    3.1 引言
    3.2 开源仿真平台介绍
        3.2.1 TORCS
        3.2.2 Euro Truck Simulator2
        3.2.3 Carla
    3.3 基于GTAV仿真平台搭建
        3.3.1 GTAV介绍
        3.3.2 仿真平台搭建
        3.3.3 功能测试
    3.4 本章小结
第四章 基于端到端学习的深度神经网络模型
    4.1 引言
    4.2 CNN-LSTM多模态多任务神经网络模型
        4.2.1 网络模型架构
        4.2.2 特征提取网络
        4.2.3 长短时记忆神经网络
        4.2.4 横纵向控制网络
        4.2.5 CNN-LSTM神经网络作用层
        4.2.6 损失函数和优化方法
    4.3 基于仿真平台的实验与分析
        4.3.1 实验数据与实验环境
        4.3.2 评判标准和参数设置
        4.3.3 数据集预处理
        4.3.4 模型训练与测试
        4.3.5 实验结果分析
        4.3.6 可视化分析
        4.3.7 实验结论
    4.4 本章小结
第五章 基于真实场景下的自动驾驶实验和分析
    5.1 引言
    5.2 迁移学习
        5.2.1 迁移学习的基本概念
        5.2.2 迁移学习的研究领域
        5.2.3 迁移学习的基本方法
        5.2.4 深度迁移学习
    5.3 基于ROS的自动驾驶平台
        5.3.1 ROS系统介绍
        5.3.2 自动驾驶平台硬件结构
        5.3.3 真实场景数据采集
    5.4 基于真实场景数据的实验与分析
        5.4.1 实验环境与参数设置
        5.4.2 实验结果分析
        5.4.3 可视化分析
        5.4.4 实车测试
        5.4.5 实验结论
    5.5 本章小结
总结与展望
参考文献
攻读博士/硕士学位期间取得的研究成果
致谢
附件



本文编号：3794919