基于DDPG的智能汽车稳定性控制方法研究
发布时间：2022-05-08 18:34
当今汽车产业正加速步入智能化时代,与传统汽车相比,智能汽车具有主动转向控制系统,无需驾驶员操控就能够实现主动转向。在汽车失稳时,驾驶员会通过修正方向盘来获得稳定横摆力矩,而智能汽车无驾驶员在环,但可以通过协调控制器对方向盘进行修正。为保证智能汽车的行驶安全性及乘坐舒适性,本文针对智能汽车协调稳定性控制方法进行了以下研究。首先,研究了主动转向控制和直接横摆力矩控制（DYC）对车辆稳定性的影响,主动转向控制利于提高舒适性,DYC在极限工况下保证了车辆安全性,协调主动转向和DYC对车辆的干预,既能保证车辆的安全性又能提高舒适性,本文以二自由度车辆模型作为参考模型,计算理想横摆角速度和质心侧偏角,采用深度强化学习（Deep Reinforcement Learning,DRL）中的深度确定策略梯度算法（Deep Deterministic Policy Gradient,DDPG）作为协调控制算法,选择五个车辆状态参数作为输入,附加横摆力矩和方向盘修正角作为输出,设计了协调控制器。然后,分析了Q-Learning、Deep Q-Learning和DDPG算法之间关系和优缺点,DDPG可以处理多...
【文章页数】：91 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
abstract
第一章 绪论
1.1 研究背景与研究意义
1.2 国内外研究现状
1.2.1 车辆稳定性控制研究现状
1.2.2 DRL发展与应用现状
1.3 本文主要研究内容
第二章 车辆稳定性控制分析
2.1 参考模型
2.1.1 线性二自由度模型
2.1.2 车辆理想状态参数计算
2.2 车辆失稳分析
2.2.1 汽车失稳原因
2.1.3 汽车失稳判断
2.3 协调控制策略
2.3.1 主动转向控制特性
2.3.2 直接横摆力矩控制特性
2.3.3 协调控制策略
2.3.4 控制动作执行策略
2.3.5 附加横摆力矩转换
2.4 本章小结
第三章 深度强化学习算法
3.1 马尔可夫决策过程
3.2 强化学习算法原理
3.3 DDPG算法原理
3.4 TensorFlow学习框架
3.5 本章小结
第四章 深度强化学习仿真训练
4.1 DDPG算法设计
4.1.1 状态选择
4.1.2 动作定义
4.1.3 奖励函数设计
4.1.4 DDPG网络结构
4.2 CarSim仿真训练环境
4.2.1 CarSim软件介绍
4.2.2 CarSim与 Python联合
4.2.3 正弦迟滞测试标准
4.2.4 仿真训练环境搭建
4.2.5 DDPG训练过程
4.3 仿真结果与分析
4.3.1 深度网络学习效果
4.3.2 正弦迟滞工况
4.3.3 双移线工况
4.4 本章小结
第五章 硬件在环试验台系统设计
5.1 HIL试验台设计方案
5.2 试验台架研制
5.2.1 台架软件架构
5.2.2 采集卡和CAN卡选型
5.2.3 转向系统
5.2.4 制动系统
5.3 正弦迟滞试验验证
5.4 本章小结
第六章 总结与展望
6.1 总结
6.2 工作展望
参考文献
攻读硕士学位期间的学术活动及成果情况
【参考文献】：
期刊论文
[1]汽车智能远程控制与整车控制功能仿真验证技术与方法[J]. 黄胜龙,赵德银,周时莹,张东波,许中芳. 汽车技术. 2018(10)
[2]智能汽车环境感知算法测试评价系统开发[J]. 隗寒冰,曹旭,赖锋. 中国机械工程. 2018(19)
[3]基于强化学习理论的车辆路径选择过程研究[J]. 蒋雨波,李邦兰. 黑龙江交通科技. 2018(07)
[4]一种基于深度强化学习的自适应巡航控制算法[J]. 韩向敏,鲍泓,梁军,潘峰,玄祖兴. 计算机工程. 2018(07)
[5]基于云推理模型的深度强化学习探索策略研究[J]. 李晨溪,曹雷,陈希亮,张永亮,徐志雄,彭辉,段理文. 电子与信息学报. 2018(01)
[6]基于知识的深度强化学习研究综述[J]. 李晨溪,曹雷,张永亮,陈希亮,周宇欢,段理文. 系统工程与电子技术. 2017(11)
[7]深度强化学习综述[J]. 刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进. 计算机学报. 2018(01)
[8]车辆主动前轮转向与直接横摆力矩自适应控制[J]. 桑楠,魏民祥. 交通运输工程学报. 2016(03)
[9]深度强化学习综述:兼论计算机围棋的发展[J]. 赵冬斌,邵坤,朱圆恒,李栋,陈亚冉,王海涛,刘德荣,周彤,王成红. 控制理论与应用. 2016(06)
[10]基于汽车行驶安全边界的EPS与ESP协调控制策略[J]. 王其东,王金波,陈无畏,黄鹤. 机械工程学报. 2016(06)
博士论文
[1]乘用车ESC分层控制策略及液压执行单元控制算法的研究[D]. 刘刚.吉林大学 2018
[2]汽车EPS与ESP协调控制及关键技术研究[D]. 王金波.合肥工业大学 2016
[3]汽车主动前轮转向的控制策略研究[D]. 魏杰.北京理工大学 2015
[4]智能汽车自主循迹控制策略研究[D]. 张琨.哈尔滨工业大学 2013
[5]基于质心侧偏角相平面的车辆稳定性控制系统研究[D]. 刘伟.吉林大学 2013
[6]汽车稳定性控制系统分层优化控制研究[D]. 黄鹤.合肥工业大学 2012
[7]汽车稳定性控制系统控制策略与评价方法研究[D]. 郭健.吉林大学 2011
[8]汽车动力学稳定性横摆力矩和主动转向联合控制策略的仿真研究[D]. 赵伟.长安大学 2008
硕士论文
[1]面向无人驾驶的增强学习算法研究[D]. 陈银银.电子科技大学 2018
[2]基于强化学习的汽车协同式自适应巡航控制技术研究[D]. 李想.吉林大学 2018
[3]基于深度强化学习的无人驾驶智能决策控制研究[D]. 左思翔.哈尔滨工业大学 2018
[4]基于强化学习的智能车移动模型研究[D]. 罗志祥.大连理工大学 2017
[5]基于深度强化学习的自动驾驶决策仿真[D]. 夏伟.中国科学院大学(中国科学院深圳先进技术研究院) 2017
[6]Q学习结合神经网络的智能驾驶行为决策系统[D]. 鄢婷.天津工业大学 2017
[7]基于深度学习和强化学习的车辆定位与识别[D]. 丁乐乐.电子科技大学 2016
[8]基于直接横摆力矩控制的前轮驱动电动汽车稳定性控制研究[D]. 钱舟.江苏大学 2015
[9]车辆主动前轮转向与直接横摆力矩集成控制研究及FPGA实现[D]. 吉岩.吉林大学 2015
[10]主动前轮转向汽车稳定性控制研究[D]. 毕文.江西理工大学 2015
本文编号：3652164
【文章页数】：91 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
abstract
第一章 绪论
1.1 研究背景与研究意义
1.2 国内外研究现状
1.2.1 车辆稳定性控制研究现状
1.2.2 DRL发展与应用现状
1.3 本文主要研究内容
第二章 车辆稳定性控制分析
2.1 参考模型
2.1.1 线性二自由度模型
2.1.2 车辆理想状态参数计算
2.2 车辆失稳分析
2.2.1 汽车失稳原因
2.1.3 汽车失稳判断
2.3 协调控制策略
2.3.1 主动转向控制特性
2.3.2 直接横摆力矩控制特性
2.3.3 协调控制策略
2.3.4 控制动作执行策略
2.3.5 附加横摆力矩转换
2.4 本章小结
第三章 深度强化学习算法
3.1 马尔可夫决策过程
3.2 强化学习算法原理
3.3 DDPG算法原理
3.4 TensorFlow学习框架
3.5 本章小结
第四章 深度强化学习仿真训练
4.1 DDPG算法设计
4.1.1 状态选择
4.1.2 动作定义
4.1.3 奖励函数设计
4.1.4 DDPG网络结构
4.2 CarSim仿真训练环境
4.2.1 CarSim软件介绍
4.2.2 CarSim与 Python联合
4.2.3 正弦迟滞测试标准
4.2.4 仿真训练环境搭建
4.2.5 DDPG训练过程
4.3 仿真结果与分析
4.3.1 深度网络学习效果
4.3.2 正弦迟滞工况
4.3.3 双移线工况
4.4 本章小结
第五章 硬件在环试验台系统设计
5.1 HIL试验台设计方案
5.2 试验台架研制
5.2.1 台架软件架构
5.2.2 采集卡和CAN卡选型
5.2.3 转向系统
5.2.4 制动系统
5.3 正弦迟滞试验验证
5.4 本章小结
第六章 总结与展望
6.1 总结
6.2 工作展望
参考文献
攻读硕士学位期间的学术活动及成果情况
【参考文献】：
期刊论文
[1]汽车智能远程控制与整车控制功能仿真验证技术与方法[J]. 黄胜龙,赵德银,周时莹,张东波,许中芳. 汽车技术. 2018(10)
[2]智能汽车环境感知算法测试评价系统开发[J]. 隗寒冰,曹旭,赖锋. 中国机械工程. 2018(19)
[3]基于强化学习理论的车辆路径选择过程研究[J]. 蒋雨波,李邦兰. 黑龙江交通科技. 2018(07)
[4]一种基于深度强化学习的自适应巡航控制算法[J]. 韩向敏,鲍泓,梁军,潘峰,玄祖兴. 计算机工程. 2018(07)
[5]基于云推理模型的深度强化学习探索策略研究[J]. 李晨溪,曹雷,陈希亮,张永亮,徐志雄,彭辉,段理文. 电子与信息学报. 2018(01)
[6]基于知识的深度强化学习研究综述[J]. 李晨溪,曹雷,张永亮,陈希亮,周宇欢,段理文. 系统工程与电子技术. 2017(11)
[7]深度强化学习综述[J]. 刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进. 计算机学报. 2018(01)
[8]车辆主动前轮转向与直接横摆力矩自适应控制[J]. 桑楠,魏民祥. 交通运输工程学报. 2016(03)
[9]深度强化学习综述:兼论计算机围棋的发展[J]. 赵冬斌,邵坤,朱圆恒,李栋,陈亚冉,王海涛,刘德荣,周彤,王成红. 控制理论与应用. 2016(06)
[10]基于汽车行驶安全边界的EPS与ESP协调控制策略[J]. 王其东,王金波,陈无畏,黄鹤. 机械工程学报. 2016(06)
博士论文
[1]乘用车ESC分层控制策略及液压执行单元控制算法的研究[D]. 刘刚.吉林大学 2018
[2]汽车EPS与ESP协调控制及关键技术研究[D]. 王金波.合肥工业大学 2016
[3]汽车主动前轮转向的控制策略研究[D]. 魏杰.北京理工大学 2015
[4]智能汽车自主循迹控制策略研究[D]. 张琨.哈尔滨工业大学 2013
[5]基于质心侧偏角相平面的车辆稳定性控制系统研究[D]. 刘伟.吉林大学 2013
[6]汽车稳定性控制系统分层优化控制研究[D]. 黄鹤.合肥工业大学 2012
[7]汽车稳定性控制系统控制策略与评价方法研究[D]. 郭健.吉林大学 2011
[8]汽车动力学稳定性横摆力矩和主动转向联合控制策略的仿真研究[D]. 赵伟.长安大学 2008
硕士论文
[1]面向无人驾驶的增强学习算法研究[D]. 陈银银.电子科技大学 2018
[2]基于强化学习的汽车协同式自适应巡航控制技术研究[D]. 李想.吉林大学 2018
[3]基于深度强化学习的无人驾驶智能决策控制研究[D]. 左思翔.哈尔滨工业大学 2018
[4]基于强化学习的智能车移动模型研究[D]. 罗志祥.大连理工大学 2017
[5]基于深度强化学习的自动驾驶决策仿真[D]. 夏伟.中国科学院大学(中国科学院深圳先进技术研究院) 2017
[6]Q学习结合神经网络的智能驾驶行为决策系统[D]. 鄢婷.天津工业大学 2017
[7]基于深度学习和强化学习的车辆定位与识别[D]. 丁乐乐.电子科技大学 2016
[8]基于直接横摆力矩控制的前轮驱动电动汽车稳定性控制研究[D]. 钱舟.江苏大学 2015
[9]车辆主动前轮转向与直接横摆力矩集成控制研究及FPGA实现[D]. 吉岩.吉林大学 2015
[10]主动前轮转向汽车稳定性控制研究[D]. 毕文.江西理工大学 2015
本文编号：3652164
本文链接：https://www.wllwen.com/kejilunwen/qiche/3652164.html
