基于强化学习的轨道交通ATO控制算法研究
发布时间：2021-08-14 19:16
列车自动驾驶系统（ATO）是列车运行控制的关键系统,在不同运行环境下,可以实时控制列车牵引力和制动力的输出,使列车按照目标曲线平稳、安全运行。论文针对列车系统的非线性、多变量等复杂特性,综合考虑列车运行环境、列车控制特征,基于强化学习的无参学习、动态优化、端到端学习、自适应性等特点,提出了一种提升模糊控制方法泛化能力的列车自动驾驶控制系统算法。通过深度强化学习,系统自动对已有的列车模型、需求的目标速度曲线以及需求的控制策略,生成一套模糊控制方案,取代了传统专家经验的设计,并且提升了模糊控制的普适性。论文的主要研究内容包括以下几点:1、对列车自动驾驶系统的功能、基本结构、传统控制算法进行相关的研究,对列车控制问题进行了问题抽象,并建立了列车运行过程的简化模型。2、研究了强化学习在控制算法中的相关应用、DQN算法的原理及结构,并完成了基于强化学习的列车自动运行控制算法的设计,包括了列车模拟环境仿真、目标曲线设计、列车输入状态图像化设计、卷积神经网络结构设计、状态输出控制、奖励策略设计、动作策略设计、DQN训练参数设计等。针对传统列车ATO控制算法的不足以及对杭州地铁4号线运行过程数据的统计...
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
人了C系统构成圈
１．３?ＡＴＯ系统控制算法的国内外研究现状??随着城市轨道交通的广泛应用，ＡＴＯ控制算法的研究也越来越多，从２０世纪６０年??代开始，欧美及日本等一些发达国家就已经开始在列车的自动运行技术上进行了大量的??试验与研究工作，一些著名的公司如Ｓｉｅｍｅｎｓ、Ｗｅｓｔｉｎｇ?Ｈｏｕｓｅ、Ｈｉｔａｃｈｉ等均推出了列车??速度控制系统。２０世纪８０年代，德国、日本、澳大利亚、前苏联等国家针对列车自动??运行系统的研究也都开展了很多探索［１５－１６］。国内的ＡＴＯ系统控制算法研究起步较晚，??早期的列车自动驾驶系统很大部分是从国外引入的。２０世纪９０年代，北京地铁１号线??部分列车自动驾驶使用了西屋公司的设备，广州地铁１号线和北京地铁１０号线的部分??列车自动驾驶系统使用了西门子公司的设备［１７］。从列车自动驾驶的现状看，虽然国内自??动驾驶技术研究较晚，但中国轨道交通自动控制技术已经走在全球前列。２０１６年１２月??１９日，中国第一条正式运营的ＧＯＡ４?（ＧｒａｄｅｓｏｆＡｕｔｏｍａｔｉｏｎ４）等级的全自动无人驾驶??
ａｕｒｅｕｍａｎ－ｅｖｅｃｏｎｒｏｒｏｕｇｅｅｐ［６７］，文中提出了改进版的ＤＱＮ算法。２０１７年１０月，Ｇｏｏｇ能围棋团队在《Ｎａｔｕｒｅ》上发表了题为“Ｍａｓｔｅｒｉｎｇ?ｔｈｅ?Ｇａｍｅｇｅ”的文章ＡｌｐｈａＧｏ最强最新的版本ＡｌｐｈａＧｏ?Ｚｅｒｏ天训练后就以１００比０击败了上一版本的ＡｌｐｈａＧｏ，?２１天ｓｔｅｒ?水平。??的原理与结构??强化学习为：通过试错学习最佳地匹配状态（Ｓｔａｔｅｓ）和动回报（Ｒｅｗａｒｄｓ），当智能体Ａｇｅｎｔ的某个行为策略ＡｃｔｉｏｎＲｅｗａｒｄ，智能体产生该行为策略的趦势会加强［６９１。在给定“强化”而受到惩罚的行为会被“弱化”。这样一种生物智能尝试获得的奖励或惩罚学会在该情境下选择训练者最期望化学习模型图。???？??????
【参考文献】：
期刊论文
[1]基于PID算法ATO系统的仿真研究[J]. 王先明,陈荣武,蔡哲扬. 铁路计算机应用. 2015(04)
[2]大数据下的基于深度神经网的相似汉字识别[J]. 杨钊,陶大鹏,张树业,金连文. 通信学报. 2014(09)
[3]基于RNN-RBM语言模型的语音识别研究[J]. 黎亚雄,张坚强,潘登,胡惮. 计算机研究与发展. 2014(09)
[4]列车ATO精确停车问题的研究[J]. 蒋圣超,张新,胡文宇. 电子世界. 2013(23)
[5]中国大陆城市轨道交通的现状与展望[J]. 顾岷. 现代城市轨道交通. 2011(06)
[6]城市轨道交通ATO系统性能指标评价[J]. 张强,陈德旺,于振宇. 都市快轨交通. 2011(04)
[7]完善城市轨道交通国产化政策体系的思考[J]. 任红波. 上海建设科技. 2011(03)
[8]模糊预测-PID复合控制在高速列车制动中的应用[J]. 师黎,王江涛. 计算机工程与应用. 2010(31)
[9]列车自动控制系统的分析与研究[J]. 柴贵兰. 科技信息. 2010(17)
[10]浅谈列车自动控制系统ATC[J]. 瞿莉丽. 科技信息(学术研究). 2008(36)
硕士论文
[1]列车在线辨识与预测控制研究[D]. 袁佳希.浙江大学 2017
[2]基于模糊-PID的ATO系统速度控制算法的研究[D]. 陈优.湘潭大学 2015
[3]高速动车组多模型建模与预测控制方法[D]. 张坤鹏.华东交通大学 2012
[4]基于模糊神经网络的ATO系统开发[D]. 许展瑛.西南交通大学 2010
[5]基于智能控制算法的列车自动驾驶系统的优化研究[D]. 姚理.北京交通大学 2009
[6]模糊预测控制及其在列车自动驾驶中的应用[D]. 周家猷.北京交通大学 2008
[7]城市轨道交通ATO测试系统设计与实现[D]. 梁晓钰.北京交通大学 2008
[8]城市轨道交通自动驾驶（ATO）测试系统中信号模拟的研究[D]. 支柱.北京交通大学 2008
[9]基于模糊预测控制的列车自动驾驶系统研究[D]. 康太平.西南交通大学 2006
本文编号：3343031
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
人了C系统构成圈
１．３?ＡＴＯ系统控制算法的国内外研究现状??随着城市轨道交通的广泛应用，ＡＴＯ控制算法的研究也越来越多，从２０世纪６０年??代开始，欧美及日本等一些发达国家就已经开始在列车的自动运行技术上进行了大量的??试验与研究工作，一些著名的公司如Ｓｉｅｍｅｎｓ、Ｗｅｓｔｉｎｇ?Ｈｏｕｓｅ、Ｈｉｔａｃｈｉ等均推出了列车??速度控制系统。２０世纪８０年代，德国、日本、澳大利亚、前苏联等国家针对列车自动??运行系统的研究也都开展了很多探索［１５－１６］。国内的ＡＴＯ系统控制算法研究起步较晚，??早期的列车自动驾驶系统很大部分是从国外引入的。２０世纪９０年代，北京地铁１号线??部分列车自动驾驶使用了西屋公司的设备，广州地铁１号线和北京地铁１０号线的部分??列车自动驾驶系统使用了西门子公司的设备［１７］。从列车自动驾驶的现状看，虽然国内自??动驾驶技术研究较晚，但中国轨道交通自动控制技术已经走在全球前列。２０１６年１２月??１９日，中国第一条正式运营的ＧＯＡ４?（ＧｒａｄｅｓｏｆＡｕｔｏｍａｔｉｏｎ４）等级的全自动无人驾驶??
ａｕｒｅｕｍａｎ－ｅｖｅｃｏｎｒｏｒｏｕｇｅｅｐ［６７］，文中提出了改进版的ＤＱＮ算法。２０１７年１０月，Ｇｏｏｇ能围棋团队在《Ｎａｔｕｒｅ》上发表了题为“Ｍａｓｔｅｒｉｎｇ?ｔｈｅ?Ｇａｍｅｇｅ”的文章ＡｌｐｈａＧｏ最强最新的版本ＡｌｐｈａＧｏ?Ｚｅｒｏ天训练后就以１００比０击败了上一版本的ＡｌｐｈａＧｏ，?２１天ｓｔｅｒ?水平。??的原理与结构??强化学习为：通过试错学习最佳地匹配状态（Ｓｔａｔｅｓ）和动回报（Ｒｅｗａｒｄｓ），当智能体Ａｇｅｎｔ的某个行为策略ＡｃｔｉｏｎＲｅｗａｒｄ，智能体产生该行为策略的趦势会加强［６９１。在给定“强化”而受到惩罚的行为会被“弱化”。这样一种生物智能尝试获得的奖励或惩罚学会在该情境下选择训练者最期望化学习模型图。???？??????
【参考文献】：
期刊论文
[1]基于PID算法ATO系统的仿真研究[J]. 王先明,陈荣武,蔡哲扬. 铁路计算机应用. 2015(04)
[2]大数据下的基于深度神经网的相似汉字识别[J]. 杨钊,陶大鹏,张树业,金连文. 通信学报. 2014(09)
[3]基于RNN-RBM语言模型的语音识别研究[J]. 黎亚雄,张坚强,潘登,胡惮. 计算机研究与发展. 2014(09)
[4]列车ATO精确停车问题的研究[J]. 蒋圣超,张新,胡文宇. 电子世界. 2013(23)
[5]中国大陆城市轨道交通的现状与展望[J]. 顾岷. 现代城市轨道交通. 2011(06)
[6]城市轨道交通ATO系统性能指标评价[J]. 张强,陈德旺,于振宇. 都市快轨交通. 2011(04)
[7]完善城市轨道交通国产化政策体系的思考[J]. 任红波. 上海建设科技. 2011(03)
[8]模糊预测-PID复合控制在高速列车制动中的应用[J]. 师黎,王江涛. 计算机工程与应用. 2010(31)
[9]列车自动控制系统的分析与研究[J]. 柴贵兰. 科技信息. 2010(17)
[10]浅谈列车自动控制系统ATC[J]. 瞿莉丽. 科技信息(学术研究). 2008(36)
硕士论文
[1]列车在线辨识与预测控制研究[D]. 袁佳希.浙江大学 2017
[2]基于模糊-PID的ATO系统速度控制算法的研究[D]. 陈优.湘潭大学 2015
[3]高速动车组多模型建模与预测控制方法[D]. 张坤鹏.华东交通大学 2012
[4]基于模糊神经网络的ATO系统开发[D]. 许展瑛.西南交通大学 2010
[5]基于智能控制算法的列车自动驾驶系统的优化研究[D]. 姚理.北京交通大学 2009
[6]模糊预测控制及其在列车自动驾驶中的应用[D]. 周家猷.北京交通大学 2008
[7]城市轨道交通ATO测试系统设计与实现[D]. 梁晓钰.北京交通大学 2008
[8]城市轨道交通自动驾驶（ATO）测试系统中信号模拟的研究[D]. 支柱.北京交通大学 2008
[9]基于模糊预测控制的列车自动驾驶系统研究[D]. 康太平.西南交通大学 2006
本文编号：3343031
本文链接：https://www.wllwen.com/kejilunwen/jiaotonggongchenglunwen/3343031.html
