虚拟环境下的汽车自主驾驶策略的研究与实现
发布时间：2021-03-06 17:47
随着5G时代的来临和人工智能研究的发展,自动驾驶成为当下学术界、工业界和商业界备受关注的焦点。传统的驾驶策略模型,是通过人工来进行数学建模,对于复杂的交通环境,不能很好的处理,无法满足自适应的驾驶策略的需要,而让汽车具备自主学习能力是研究的重中之重。自动驾驶汽车基于特定试验场所和特定路段测试进行自适应训练不现实,耗资巨大且测试效率不高。为了解决传统驾驶策略高度依赖模型和当前实地测试的局限性和问题,构建一个安全且高效,学习和测试一体的自动驾驶汽车测试平台是必不可少的。针对上述问题,本论文所作的工作:第一,基于TORCS,搭建了虚拟环境下的汽车自主驾驶的仿真系统。对TORCS软件进行适当的改进,在ubuntu16.04系统平台中,基于Gym环境,使用python语言对TORCS封装。实现了在前端的虚拟汽车智能地行驶于TORCS虚拟环境中。第二,使用深度强化学习算法学习来代替传统驾驶策略模型方法,从而能够学习到自主驾驶策略。本论文使用双智能体的DDPG的驾驶策略的算法,不需要车辆动力学模型,只需通过与环境交互进行学习,在复杂环境中更具鲁棒性。在仿真系统中,对比深度Q-学习,显示了本文所用的方...
【文章来源】：曲阜师范大学山东省
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
近几年交通安全事故数量对比
相当之惊人。仿佛意味着谁能更快地更熟练的将自动驾驶技术运用到真实环境中，他就成为未来汽车行业中的佼佼者，让自己的国家成为汽车工业强国，提高其在自动驾驶汽车领域的地位，抢占市场份额。美国一直处于自动驾驶技术的领先者的地位，自谷歌公司启动自动驾驶汽车计划以来，各个大型车企络绎不绝地加入自动驾驶技术的研究和开发中，2016年8月，福特汽车公布了将在2021年推出L5级的自动驾驶汽车并投入商业运作。早在2015年，谷歌推出的第三代无人驾驶汽车已经达到L4级，并且获得测试许可并且启动了路测。如下图1-2所示：图1-2google汽车图在自动驾驶汽车的发展战略上，汽车制造商企业主张的是逐步推进的战略，不是直接研究自动驾驶汽车。奥迪更是继谷歌之后在美国取得自动驾驶汽车车辆道路测试许可证。2019年1月8号，美国拉斯维加斯首次开展了CES，即国际消费类电子产品展览会，CES的开展全球都非常重视，其展示了很多先进的科技产品，同时其也针对当前汽车领域的发展，提出了未来可能会出现的驾驶技术，受到了广泛关注。未来CES的展示中，自动驾驶技术的出现可能会成为整个展览会最受瞩目的部分，也会成为人们最感兴趣的技术。
第2章相关理论基础介绍8第2章相关理论基础介绍在过去的研究实验中，机器学习包含强化学习、有监督学习、无监督学习[15]三种。当前各领域中运用较为普遍的学习方式为强化学习。前些年，三类学习算法分工明确，而目前，三类学习算法联合起来使用效果更佳。而强化学习算法结合的更加好，例如深度强化学习的对话生成。在本论文中，如图2-1所示，强化学习也是要与深度学习相结合，成为本论文的主要依据理论。图2-1机器学习分类无监督学习是没有具体而充分数据集的，没有模型数据，大多数问题的结果都是未知的。数据没有被标记，学习模型是通过输入和期望输出不断进行学习调整。本质就是将相似的数据类型会聚集到一起，把没有标记的数据分成多个组合。有监督学习是有具体标记的数据集的，通过外部监督获取该模型的有关参数，但参数获取过程并不包含于算法内。根据相应的目标函数进行学习，从而不断减小结果与期望输出的目标函数的差异，这种学习方式为有监督学习。而强化学习需要的是智能体与环境交互的数据，模型数据要不断与环境交互[16]，在交互过程中不断改进学习行为，产生更好的行为，获得更多的奖励。相对于有监督学习，强化学习在构建算法的同时需要构建一个与智能体交互的环境。而相对于无监督学习，强化学习的过程并不是开放式的，且需结合实际提出相应的奖惩制度。强化学习要解决的问题是从环境状态到智能体的行为决策问题，输入具体是什么样子，对于智能体来说，并没有多大价值。智能体的学习是如同人类学习理论：智能体在初始时并不知道在当前状态下，采取哪个动作是最可能接近目标的，只有智能体与环境进行交互，不断尝试探索，不断摸索，通过环境返回给智能体
【参考文献】：
期刊论文
[1]智能时代的汽车控制[J]. 陈虹,郭露露,宫洵,高炳钊,张琳. 自动化学报. 2020(07)
[2]自动驾驶仿真技术研究现状[J]. 张微,李鑫慧,吴学易,唐风敏,郭蓬,何佳. 汽车电器. 2019(08)
[3]国内外智能网联汽车产业发展概况[J]. 科技中国. 2019(02)
[4]人工智能背景下自动驾驶汽车的挑战与展望[J]. 胡海波. 中国高新区. 2018(10)
[5]基于深度学习的自动驾驶技术综述[J]. 张新钰,高洪波,赵建辉,周沫. 清华大学学报(自然科学版). 2018(04)
[6]基于重抽样优选缓存经验回放机制的深度强化学习方法[J]. 陈希亮,曹雷,李晨溪,徐志雄,何明. 控制与决策. 2018(04)
[7]互学习神经网络训练方法研究[J]. 刘威,刘尚,白润才,周璇,周定宁. 计算机学报. 2017(06)
[8]平行学习—机器学习的一个新型理论框架[J]. 李力,林懿伦,曹东璞,郑南宁,王飞跃. 自动化学报. 2017(01)
博士论文
[1]城区动态环境下智能车辆行为决策研究[D]. 宋威龙.北京理工大学 2016
硕士论文
[1]基于集成的多深度确定性策略梯度的无人驾驶策略研究[D]. 吴俊塔.中国科学院大学(中国科学院深圳先进技术研究院) 2019
[2]基于虚拟仿真环境的自动驾驶策略学习[D]. 栗韶远.浙江大学 2019
[3]基于深度强化学习的虚拟无人车控制研究[D]. 顾文逸.南京理工大学 2018
[4]基于深度强化学习的自动驾驶决策仿真[D]. 夏伟.中国科学院大学(中国科学院深圳先进技术研究院) 2017
本文编号：3067530
【文章来源】：曲阜师范大学山东省
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
近几年交通安全事故数量对比
相当之惊人。仿佛意味着谁能更快地更熟练的将自动驾驶技术运用到真实环境中，他就成为未来汽车行业中的佼佼者，让自己的国家成为汽车工业强国，提高其在自动驾驶汽车领域的地位，抢占市场份额。美国一直处于自动驾驶技术的领先者的地位，自谷歌公司启动自动驾驶汽车计划以来，各个大型车企络绎不绝地加入自动驾驶技术的研究和开发中，2016年8月，福特汽车公布了将在2021年推出L5级的自动驾驶汽车并投入商业运作。早在2015年，谷歌推出的第三代无人驾驶汽车已经达到L4级，并且获得测试许可并且启动了路测。如下图1-2所示：图1-2google汽车图在自动驾驶汽车的发展战略上，汽车制造商企业主张的是逐步推进的战略，不是直接研究自动驾驶汽车。奥迪更是继谷歌之后在美国取得自动驾驶汽车车辆道路测试许可证。2019年1月8号，美国拉斯维加斯首次开展了CES，即国际消费类电子产品展览会，CES的开展全球都非常重视，其展示了很多先进的科技产品，同时其也针对当前汽车领域的发展，提出了未来可能会出现的驾驶技术，受到了广泛关注。未来CES的展示中，自动驾驶技术的出现可能会成为整个展览会最受瞩目的部分，也会成为人们最感兴趣的技术。
第2章相关理论基础介绍8第2章相关理论基础介绍在过去的研究实验中，机器学习包含强化学习、有监督学习、无监督学习[15]三种。当前各领域中运用较为普遍的学习方式为强化学习。前些年，三类学习算法分工明确，而目前，三类学习算法联合起来使用效果更佳。而强化学习算法结合的更加好，例如深度强化学习的对话生成。在本论文中，如图2-1所示，强化学习也是要与深度学习相结合，成为本论文的主要依据理论。图2-1机器学习分类无监督学习是没有具体而充分数据集的，没有模型数据，大多数问题的结果都是未知的。数据没有被标记，学习模型是通过输入和期望输出不断进行学习调整。本质就是将相似的数据类型会聚集到一起，把没有标记的数据分成多个组合。有监督学习是有具体标记的数据集的，通过外部监督获取该模型的有关参数，但参数获取过程并不包含于算法内。根据相应的目标函数进行学习，从而不断减小结果与期望输出的目标函数的差异，这种学习方式为有监督学习。而强化学习需要的是智能体与环境交互的数据，模型数据要不断与环境交互[16]，在交互过程中不断改进学习行为，产生更好的行为，获得更多的奖励。相对于有监督学习，强化学习在构建算法的同时需要构建一个与智能体交互的环境。而相对于无监督学习，强化学习的过程并不是开放式的，且需结合实际提出相应的奖惩制度。强化学习要解决的问题是从环境状态到智能体的行为决策问题，输入具体是什么样子，对于智能体来说，并没有多大价值。智能体的学习是如同人类学习理论：智能体在初始时并不知道在当前状态下，采取哪个动作是最可能接近目标的，只有智能体与环境进行交互，不断尝试探索，不断摸索，通过环境返回给智能体
【参考文献】：
期刊论文
[1]智能时代的汽车控制[J]. 陈虹,郭露露,宫洵,高炳钊,张琳. 自动化学报. 2020(07)
[2]自动驾驶仿真技术研究现状[J]. 张微,李鑫慧,吴学易,唐风敏,郭蓬,何佳. 汽车电器. 2019(08)
[3]国内外智能网联汽车产业发展概况[J]. 科技中国. 2019(02)
[4]人工智能背景下自动驾驶汽车的挑战与展望[J]. 胡海波. 中国高新区. 2018(10)
[5]基于深度学习的自动驾驶技术综述[J]. 张新钰,高洪波,赵建辉,周沫. 清华大学学报(自然科学版). 2018(04)
[6]基于重抽样优选缓存经验回放机制的深度强化学习方法[J]. 陈希亮,曹雷,李晨溪,徐志雄,何明. 控制与决策. 2018(04)
[7]互学习神经网络训练方法研究[J]. 刘威,刘尚,白润才,周璇,周定宁. 计算机学报. 2017(06)
[8]平行学习—机器学习的一个新型理论框架[J]. 李力,林懿伦,曹东璞,郑南宁,王飞跃. 自动化学报. 2017(01)
博士论文
[1]城区动态环境下智能车辆行为决策研究[D]. 宋威龙.北京理工大学 2016
硕士论文
[1]基于集成的多深度确定性策略梯度的无人驾驶策略研究[D]. 吴俊塔.中国科学院大学(中国科学院深圳先进技术研究院) 2019
[2]基于虚拟仿真环境的自动驾驶策略学习[D]. 栗韶远.浙江大学 2019
[3]基于深度强化学习的虚拟无人车控制研究[D]. 顾文逸.南京理工大学 2018
[4]基于深度强化学习的自动驾驶决策仿真[D]. 夏伟.中国科学院大学(中国科学院深圳先进技术研究院) 2017
本文编号：3067530
本文链接：https://www.wllwen.com/kejilunwen/qiche/3067530.html
