基于增强学习的智能车辆自主决策方法研究
发布时间：2022-04-25 21:54
智能驾驶车辆技术的发展对于保证车辆行驶安全性和缓解城市的交通压力具有重要的意义。智能驾驶车辆是人工智能的一个重要应用领域,智能车辆自主决策能力的高低在一定程度上可以代表其智能化水平的高低。增强学习是机器学习的一个重要的分支,充分发挥增强学习的优点,利用增强学习算法解决智能车自主决策问题,提高智能车对动态复杂环境的自适应性,是智能车领域的一个研究重点。本文在现有的智能车辆驾驶技术研究的基础上,对智能驾驶车辆在结构化道路环境中换道决策行为展开深入研究。目前基于规则决策方法的认知规则库存在设计不全面的缺陷和基于统计决策方法需求数据大的缺陷,难以适应形式复杂多变的动态结构化道路环境,针对结构化道路环境中换道决策问题,本文提出基于增强学习的智能车辆驾驶换道决策模型,提高车辆的智能化水平。本文主要研究成果和创新点包括:（1）针对大规模或连续状态空间问题,本文提出基于多核的最小二乘策略迭代算法（MKLSPI,Multi-Kernel Least Squares Policy Iteration）,该算法利用核函数自动构建特征以及多个核函数线性加权实现自动调整学习参数,以精确地逼近策略迭代过程中的值函...
【文章页数】：87 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 本文研究背景
1.2 智能驾驶车辆研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 驾驶行为决策研究现状及问题分析
1.3.1 驾驶行为决策研究现状
1.3.2 驾驶行为决策问题分析
1.4 增强学习研究现状
1.4.1 基于值函数逼近的方法
1.4.2 近似动态规划算法
1.4.3 基于策略搜索的方法
1.4.4 结构化增强学习方法
1.4.5 增强学习方法应用现状
1.5 论文的组织结构和主要贡献
1.5.1 本文的组织结构
1.5.2 本文的主要贡献
第二章 增强学习理论基础与最小二乘策略迭代算法
2.1 增强学习理论基础
2.1.1 增强学习的相关概念
2.1.2 马尔可夫决策过程
2.1.3 TD学习理论
2.2 近似策略迭代算法及其特征表示方法
2.2.1 近似策略迭代方法概述
2.2.2 常用的特征表示方法
2.3 基于核的最小二乘策略迭代算法概述
2.3.1 最小二乘策略迭代算法概述
2.3.2 基于核的最小二乘策略迭代算法
2.4 本章小结
第三章 基于多核的最小二乘策略迭代算法
3.1 近似策略迭代算法的基本框架
3.2 基于多核的最小二乘策略迭代MKLSPI算法
3.2.1 核函数的引入与核稀疏化方法
3.2.2 基于核稀疏方法的MKLSPI算法
3.3 仿真研究
3.3.1 Mountain-car实验仿真研究
3.3.2 Pendulum学习控制问题仿真研究
3.4 本章小结
第四章 高速公路环境下智能车换道决策的增强学习方法
4.1 高速公路环境下智能车换道决策问题
4.1.1 高速公路环境简述
4.1.2 动态车流条件下的自主换道决策问题
4.1.3 智能车换道决策研究现状
4.2 仿真环境概述及智能车自主换道决策问题MDP建模
4.2.1 仿真环境概述
4.2.2 动态车流环境中智能车自主换道决策问题MDP建模
4.3 基于增强学习的动态车流条件下智能车辆自主换道决策方法
4.3.1 基于增强学习的智能车自主换道决策方法
4.3.2 基于增强学习的智能车辆驾驶决策系统
4.4 动态车流环境中智能车驾驶自主换道决策仿真研究
4.4.1 仿真环境下离线采样
4.4.2 基于MKLSPI算法的自主换道决策仿真研究
4.4.3 MKLSPI算法与KLSPI算法仿真结果对比
4.4.4 基于不同驾驶风格的驾驶决策策略仿真
4.5 本章小结
第五章 基于实时感知数据的智能车自主换道决策性能测试
5.1 实验平台简述
5.1.1 硬件配置
5.1.2 软件系统
5.2 高速公路自主驾驶决策性能测试
5.2.1 实验场景介绍
5.2.2 实验结果与分析讨论
5.3 本章小结
第六章 总结与展望
6.1 论文工作总结
6.2 展望
致谢
参考文献
作者在学期间取得的学术成果
【参考文献】：
期刊论文
[1]城市道路交通安全管理规划编制与实施策略研究[J]. 巩建国,戴帅,刘金广,朱建安,曲栩. 交通信息与安全. 2014(03)
[2]常用核函数的几何度量与几何性质[J]. 罗林开,叶凌君,周绮凤. 厦门大学学报(自然科学版). 2009(06)
[3]无人驾驶汽车的发展现状及方向[J]. 乔维高,徐学进. 上海汽车. 2007(07)
[4]分层强化学习中的并行自动分层方法研究[J]. 沈晶,顾国昌,刘海波. 计算机工程与设计. 2007(02)
[5]分层强化学习中的Option自动生成算法[J]. 沈晶,顾国昌,刘海波. 计算机工程与应用. 2005(34)
博士论文
[1]智能驾驶车辆自主决策与规划的增强学习方法研究[D]. 左磊.国防科学技术大学 2016
[2]基于近似动态规划的优化控制方法及在自主驾驶车辆中的应用[D]. 连传强.国防科学技术大学 2016
[3]基于增强学习和车辆动力学的高速公路自主驾驶研究[D]. 刘春明.国防科学技术大学 2014
[4]城市环境下无人驾驶车辆决策系统研究[D]. 陈佳佳.中国科学技术大学 2014
[5]高速公路自主驾驶汽车视觉感知算法研究[D]. 聂一鸣.国防科学技术大学 2012
[6]策略梯度增强学习的理论、算法及应用研究[D]. 王学宁.国防科学技术大学 2006
[7]自主驾驶汽车智能控制系统[D]. 孙振平.国防科学技术大学 2004
[8]增强学习及其在移动机器人导航与控制中的应用研究[D]. 徐昕.国防科学技术大学 2002
硕士论文
[1]基于增强学习的无人车辆智能决策方法研究[D]. 郑睿.国防科学技术大学 2013
[2]自主移动机器人导航与控制中的增强学习方法研究[D]. 李兆斌.国防科学技术大学 2010
[3]基于强化学习的自主移动机器人导航研究[D]. 吴洪岩.东北师范大学 2009
本文编号：3648406
【文章页数】：87 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 本文研究背景
1.2 智能驾驶车辆研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 驾驶行为决策研究现状及问题分析
1.3.1 驾驶行为决策研究现状
1.3.2 驾驶行为决策问题分析
1.4 增强学习研究现状
1.4.1 基于值函数逼近的方法
1.4.2 近似动态规划算法
1.4.3 基于策略搜索的方法
1.4.4 结构化增强学习方法
1.4.5 增强学习方法应用现状
1.5 论文的组织结构和主要贡献
1.5.1 本文的组织结构
1.5.2 本文的主要贡献
第二章 增强学习理论基础与最小二乘策略迭代算法
2.1 增强学习理论基础
2.1.1 增强学习的相关概念
2.1.2 马尔可夫决策过程
2.1.3 TD学习理论
2.2 近似策略迭代算法及其特征表示方法
2.2.1 近似策略迭代方法概述
2.2.2 常用的特征表示方法
2.3 基于核的最小二乘策略迭代算法概述
2.3.1 最小二乘策略迭代算法概述
2.3.2 基于核的最小二乘策略迭代算法
2.4 本章小结
第三章 基于多核的最小二乘策略迭代算法
3.1 近似策略迭代算法的基本框架
3.2 基于多核的最小二乘策略迭代MKLSPI算法
3.2.1 核函数的引入与核稀疏化方法
3.2.2 基于核稀疏方法的MKLSPI算法
3.3 仿真研究
3.3.1 Mountain-car实验仿真研究
3.3.2 Pendulum学习控制问题仿真研究
3.4 本章小结
第四章 高速公路环境下智能车换道决策的增强学习方法
4.1 高速公路环境下智能车换道决策问题
4.1.1 高速公路环境简述
4.1.2 动态车流条件下的自主换道决策问题
4.1.3 智能车换道决策研究现状
4.2 仿真环境概述及智能车自主换道决策问题MDP建模
4.2.1 仿真环境概述
4.2.2 动态车流环境中智能车自主换道决策问题MDP建模
4.3 基于增强学习的动态车流条件下智能车辆自主换道决策方法
4.3.1 基于增强学习的智能车自主换道决策方法
4.3.2 基于增强学习的智能车辆驾驶决策系统
4.4 动态车流环境中智能车驾驶自主换道决策仿真研究
4.4.1 仿真环境下离线采样
4.4.2 基于MKLSPI算法的自主换道决策仿真研究
4.4.3 MKLSPI算法与KLSPI算法仿真结果对比
4.4.4 基于不同驾驶风格的驾驶决策策略仿真
4.5 本章小结
第五章 基于实时感知数据的智能车自主换道决策性能测试
5.1 实验平台简述
5.1.1 硬件配置
5.1.2 软件系统
5.2 高速公路自主驾驶决策性能测试
5.2.1 实验场景介绍
5.2.2 实验结果与分析讨论
5.3 本章小结
第六章 总结与展望
6.1 论文工作总结
6.2 展望
致谢
参考文献
作者在学期间取得的学术成果
【参考文献】：
期刊论文
[1]城市道路交通安全管理规划编制与实施策略研究[J]. 巩建国,戴帅,刘金广,朱建安,曲栩. 交通信息与安全. 2014(03)
[2]常用核函数的几何度量与几何性质[J]. 罗林开,叶凌君,周绮凤. 厦门大学学报(自然科学版). 2009(06)
[3]无人驾驶汽车的发展现状及方向[J]. 乔维高,徐学进. 上海汽车. 2007(07)
[4]分层强化学习中的并行自动分层方法研究[J]. 沈晶,顾国昌,刘海波. 计算机工程与设计. 2007(02)
[5]分层强化学习中的Option自动生成算法[J]. 沈晶,顾国昌,刘海波. 计算机工程与应用. 2005(34)
博士论文
[1]智能驾驶车辆自主决策与规划的增强学习方法研究[D]. 左磊.国防科学技术大学 2016
[2]基于近似动态规划的优化控制方法及在自主驾驶车辆中的应用[D]. 连传强.国防科学技术大学 2016
[3]基于增强学习和车辆动力学的高速公路自主驾驶研究[D]. 刘春明.国防科学技术大学 2014
[4]城市环境下无人驾驶车辆决策系统研究[D]. 陈佳佳.中国科学技术大学 2014
[5]高速公路自主驾驶汽车视觉感知算法研究[D]. 聂一鸣.国防科学技术大学 2012
[6]策略梯度增强学习的理论、算法及应用研究[D]. 王学宁.国防科学技术大学 2006
[7]自主驾驶汽车智能控制系统[D]. 孙振平.国防科学技术大学 2004
[8]增强学习及其在移动机器人导航与控制中的应用研究[D]. 徐昕.国防科学技术大学 2002
硕士论文
[1]基于增强学习的无人车辆智能决策方法研究[D]. 郑睿.国防科学技术大学 2013
[2]自主移动机器人导航与控制中的增强学习方法研究[D]. 李兆斌.国防科学技术大学 2010
[3]基于强化学习的自主移动机器人导航研究[D]. 吴洪岩.东北师范大学 2009
本文编号：3648406
本文链接：https://www.wllwen.com/guanlilunwen/lindaojc/3648406.html
