基于强化学习的多车队列纵向协同控制算法研究
发布时间：2021-05-06 00:52
本文主要对多车队列协同纵向行驶的决策控制算法进行了一定的研究。区别于传统基于规则的控制方法,本文选择强化学习方法解决车辆协同跟车行驶中的加速度决策问题。在多车队列中除领航车外,每一辆跟随车都处于类似的外部行驶环境,为降低系统的策略学习难度,队列中的每辆车均可视为独立的智能体,所有跟随车辆共享相同的决策模型。多车协同行驶控制问题可拆解为节点协同跟驰策略的学习,当单车的跟驰策略收敛,整个队列也将稳定地行驶。本文的研究内容主要包含以下4方面:（1）介绍强化学习的基本理论,以及相关代表性算法的原理。在分析各算法的优缺点后,最终提出一种结合模仿学习思想的深度确定性策略梯度（DDPG）算法优化方案。（2）以经验回放和目标网络技巧为切入点阐述DDPG算法的具体实现过程。建立跟随车辆协同行驶的MDP模型,在此基础上运用DDPG算法训练车辆学习固定车间距下的协同行驶策略。在单车节点上层控制器的策略收敛时,进行四车队列的协同行驶仿真实验,仿真结果表明所学控制策略可满足队列的行驶稳定性。（3）选取全速度差跟驰模型作为指导车辆跟随前车行驶的演示策略。针对演示策略增设对应的监督损失,以保证训练过程中发挥其监督作...
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 CACC系统研究现状
1.2.2 强化学习研究现状
1.3 论文主要研究内容
第二章 多车协同行驶决策控制问题与解决方案
2.1 多车协同行驶决策控制框架
2.2 强化学习理论基础
2.3 深度确定性策略梯度算法
2.4 强化学习算法优化方案
2.5 本章小结
第三章 基于DDPG的车辆协同行驶决策控制技术
3.1 DDPG算法具体实现
3.2 基于DDPG的车辆协同决策控制算法设计
3.2.1 车辆纵向动力学模型及验证
3.2.2 车辆节点MDP建模
3.2.3 网络结构及相关参数设计
3.2.4 跟车决策学习过程
3.3 仿真与结果分析
3.4 本章小结
第四章 基于改进DDPG的车辆协同行驶决策技术
4.1 基于全速度差跟驰模型的演示策略
4.2 DDPG算法优化过程
4.2.1 Replay buffer结构改进
4.2.2 演示策略监督误差设计
4.2.3 MDP模型优化
4.3 仿真与结果分析
4.3.1 预训练效果分析
4.3.2 各算法结果对比
4.4 本章小结
第五章 智能小车软硬件实验平台搭建
5.1 智能小车平台硬件组成
5.2 平台底层控制系统设计
5.2.1 基于增量PID的闭环车速控制
5.2.2 基于纯追踪算法的定航向控制
5.3 基于ROS的上位机程序运行框架
5.4 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
致谢
参考文献
作者简介
【参考文献】：
期刊论文
[1]车队控制中的一种通用可变时距策略[J]. 于晓海,郭戈. 自动化学报. 2019(07)
[2]智能网联汽车技术应用与发展趋势[J]. 关宇豪,蒋园园. 汽车实用技术. 2018(22)
[3]电动汽车发展综述[J]. 胡堋湫,谭泽富,邱刚,王欣煜,邓明. 电气应用. 2018(20)
[4]基于Vissim的车联网及自动驾驶车辆交通仿真研究[J]. 宋皓晨,吴鼎新. 物流工程与管理. 2018(09)
[5]基于改进优化速度函数的跟驰模型研究[J]. 杨龙海,赵顺,徐洪. 交通运输系统工程与信息. 2017(02)
[6]混合-增强智能:协作与认知（英文）[J]. Nan-ning ZHENG,Zi-yi LIU,Peng-ju REN,Yong-qiang MA,Shi-tao CHEN,Si-yu YU,Jian-ru XUE,Ba-dong CHEN,Fei-yue WANG. Frontiers of Information Technology & Electronic Engineering. 2017(02)
[7]面向智能网联汽车的V2X通信技术探讨[J]. 陈荆花,黄晓彬,李洁. 电信技术. 2016(05)
[8]基于队列行驶的混合动力汽车节能预测控制方法研究[J]. 余开江,许孝卓,胡治国,王莉. 系统仿真技术. 2015(03)
[9]车联网技术应用综述[J]. 苏静,王冬,张菲菲. 物联网技术. 2014(06)
[10]协同式自适应巡航技术发展现状及趋势[J]. 秦晓辉,谢伯元. 现代电信科技. 2014(03)
本文编号：3170918
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 CACC系统研究现状
1.2.2 强化学习研究现状
1.3 论文主要研究内容
第二章 多车协同行驶决策控制问题与解决方案
2.1 多车协同行驶决策控制框架
2.2 强化学习理论基础
2.3 深度确定性策略梯度算法
2.4 强化学习算法优化方案
2.5 本章小结
第三章 基于DDPG的车辆协同行驶决策控制技术
3.1 DDPG算法具体实现
3.2 基于DDPG的车辆协同决策控制算法设计
3.2.1 车辆纵向动力学模型及验证
3.2.2 车辆节点MDP建模
3.2.3 网络结构及相关参数设计
3.2.4 跟车决策学习过程
3.3 仿真与结果分析
3.4 本章小结
第四章 基于改进DDPG的车辆协同行驶决策技术
4.1 基于全速度差跟驰模型的演示策略
4.2 DDPG算法优化过程
4.2.1 Replay buffer结构改进
4.2.2 演示策略监督误差设计
4.2.3 MDP模型优化
4.3 仿真与结果分析
4.3.1 预训练效果分析
4.3.2 各算法结果对比
4.4 本章小结
第五章 智能小车软硬件实验平台搭建
5.1 智能小车平台硬件组成
5.2 平台底层控制系统设计
5.2.1 基于增量PID的闭环车速控制
5.2.2 基于纯追踪算法的定航向控制
5.3 基于ROS的上位机程序运行框架
5.4 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
致谢
参考文献
作者简介
【参考文献】：
期刊论文
[1]车队控制中的一种通用可变时距策略[J]. 于晓海,郭戈. 自动化学报. 2019(07)
[2]智能网联汽车技术应用与发展趋势[J]. 关宇豪,蒋园园. 汽车实用技术. 2018(22)
[3]电动汽车发展综述[J]. 胡堋湫,谭泽富,邱刚,王欣煜,邓明. 电气应用. 2018(20)
[4]基于Vissim的车联网及自动驾驶车辆交通仿真研究[J]. 宋皓晨,吴鼎新. 物流工程与管理. 2018(09)
[5]基于改进优化速度函数的跟驰模型研究[J]. 杨龙海,赵顺,徐洪. 交通运输系统工程与信息. 2017(02)
[6]混合-增强智能:协作与认知（英文）[J]. Nan-ning ZHENG,Zi-yi LIU,Peng-ju REN,Yong-qiang MA,Shi-tao CHEN,Si-yu YU,Jian-ru XUE,Ba-dong CHEN,Fei-yue WANG. Frontiers of Information Technology & Electronic Engineering. 2017(02)
[7]面向智能网联汽车的V2X通信技术探讨[J]. 陈荆花,黄晓彬,李洁. 电信技术. 2016(05)
[8]基于队列行驶的混合动力汽车节能预测控制方法研究[J]. 余开江,许孝卓,胡治国,王莉. 系统仿真技术. 2015(03)
[9]车联网技术应用综述[J]. 苏静,王冬,张菲菲. 物联网技术. 2014(06)
[10]协同式自适应巡航技术发展现状及趋势[J]. 秦晓辉,谢伯元. 现代电信科技. 2014(03)
本文编号：3170918
本文链接：https://www.wllwen.com/kejilunwen/daoluqiaoliang/3170918.html
