基于深度Q学习的城市路网区域协调控制研究

发布时间：2020-04-23 21:01

【摘要】：近年来,我国因城市交通拥堵带来的一系列问题日趋严重,智能交通控制技术的发展,有效地解决了部分城市交通问题。区域协调信号控制可以显著提高城市路网整体的通行效率,因而是智能交通控制技术的重点研究方向。本文研究降低局部路网车均延误的区域协调优化控制方法,论文的主要工作如下:1.局部路网区域平均延误建模通过对交叉口相关性和局部路网交通流特性的分析,将区域平均延误分为外部进口道延误和内部进口道延误,进一步针对交通流的整体性和离散性将内部进口道延误分为均匀延误和随机延误,在此基础上,建立了区域平均延误模型,并通过仿真实验验证了模型的有效性。2.单交叉口优化控制研究单交叉口控制是区域协调控制的基础,论文研究单交叉口优化控制的深度Q学习算法。为了进一步提升部分可观测马尔可夫情形下的单交叉口控制性能,引入了深度循环Q学习算法。将交叉口进口道的车辆表示成位置、速度和加速度矩阵,使得Q学习所需的状态空间更符合实际状态。在深度Q网络中引入循环神经网络LSTM,利用LSTM网络记忆时间轴信息的能力,使得深度Q网络提取到车辆的动态信息。仿真实验表明,深度循环Q学习算法有效降低了交叉口的平均延误。3.区域协调优化控制将单交叉口的深度循环Q学习算法扩展到局部路网中,采用动作联动的多智能体强化学习方法,进行区域协调优化控制。为了提高算法的速度,使用分布式Max-plus算法获得最优联合动作,同时采用迁移学习对多交叉口进行Q学习的初始化从而减少训练时间。仿真实验表明了本文所提的区域协调优化算法有效地减少了区域内车辆的平均延误,提高了整个路网的通行能力。
【图文】：

示意图,四相,示意图,相位

相位指的是在交叉口各个方向的交通流不产生冲突的情况下，某一时段某些逡逑交通流的放行方向，经过Ｎ种放行方向后又回到初始的放行情况，则代表该交逡逑叉口有Ｎ个相位。实际中最为常用的是两相位和四相位的控制模式。图２．１所示逡逑是经典的四相位交叉口示意图。逡逑这四个相位的顺序可以进行调整，，不同的相位顺序就是相序。逡逑逦邋Ｊ邋｜逦Ｊ邋［１ｔ逦１１邋逦儿邋｜Ｘ逦逡逑西逦西逦西逦＾—逦西逦＾—逡逑东逦东逦—、逦东逦—＇逡逑ｒ逦ｒ逦洁邋ｉｉｒ逡逑－Ｊ邋１１逦１１１邋Ｍｌ邋Ｉ＇ｌ逡逑相位１逦相位２逦相位３逦相位４逡逑图２．１四相位示意图逡逑７逡逑

示意图,车辆,示意图,交叉口

＾邋ｍｏｄ（ｒ）邋＋邋ｒ邋＝邋＾．，＋１逦（３．４）逡逑交叉口邋＼＋｜累积到达流量示意图如图３．２所示：逡逑ｑｎ逡逑——－—ｔ逡逑——＾逦｜逡逑￣ｉ逦逦＞逦逦？逡逑＾＾＾邋ｔｇｒｅｅｎ邋＾逦ｔ逡逑？逦？逡逑Ｔ逡逑图３．邋２头部受阻累积车辆数示意图逡逑图中代表交叉口红灯时间＿代表绿灯时间，车辆会在绿灯开始后的ｔ逡逑时间内离开交叉口，那么可以得到逡逑＾Ｍ｛Ｔ邋＋邋ｔ）邋＝邋ＵＭｔ逦（３．５）逡逑ｆ邋Ｔ（ｈ＋＇逡逑ｔ邋￣逦（３．６）逡逑Ｈｍ逡逑图３．２是累积车辆数和时间的关系，三角形ＡＢＣ的面积代表的是车队所有车逡逑辆经过交叉口的总延误，记为ｒｆ，＋ｌ＞ｕｒｆ，则有：逡逑１８逡逑
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：U491.54;TP181

【参考文献】