基于Q学习的多路口交通信号协调控制研究

发布时间：2020-09-02 13:32

　　交通量的持续高速增长使得城市交通压力愈来愈大,交通拥堵问题愈显突出。现有的交通控制技术难以有效提高城市路网的交通效率,研究具有学习能力的交通信号自适应控制技术是解决这一问题的有效途径。针对现有交通控制系统存在的问题,本文采用基于Q学习及模糊技术相结合的交通控制模型及其优化方法,构建了单路口的交通优化控制模型,并在此基础上构建了基于相位差的多路口协调控制模型,能够有效减少车辆延迟,提高路网的整体通行效率。主要研究工作如下:(1)针对现有Q学习在交通控制应用中状态空间过于复杂,实时性差等问题,在Q学习中引入基于经验的状态划分,对状态空间进行优化;并通过建立交通参数融合函数的方式在保持多参数评价交通状态的前提下降低状态空间更新的复杂度;通过为逐个相位进行绿灯配时的手段,进一步降低状态空间的复杂度,提高系统控制的实时性。(2)针对复杂交通环境难以建模、现有基于Q学习的自适应控制方法未充分利用多种交通流参数,对交通流的变化难以给出准确、合理的反馈,本文采用模糊技术来实现以交通繁忙度、车辆排队长度等因素为主的交通流变化反馈机制,并结合改进的Q学习构建了一种路口交通信号自适应控制系统及方法。仿真测试实验表明,该方法及系统有效地提高了对交通流变化反馈的准确性。(3)针对庞大、复杂的交通路网难以整体协调控制的问题,在上述研究工作的基础上上,构建基于相位差的多路口协调控制模型,通过Q学习对相邻路口之间的相位差进行优化;为确保相位差协调的有效性,在协调控制过程中增加决策机制。仿真实验表明,该协调模型及方法,能够降低多路口协调控制的复杂度,提高多路口协调控制的实时性,从而有效提高整个区域路网的交通效率。
【学位单位】：南京邮电大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：U491.54
【部分图文】：

基本过程,过程强化

虑使用基于无模型的技术（如模糊技术，强化学习等的 Q 学习改进研究本流程种用来解决马尔可夫决策过程中最优化问题的方法。时奖励和延迟奖励的能力。在每一步中，Agent 通过 a，随着状态从 s 转移到 s′，Agent 能够收到一个奖惩路径，从而使得整个过程强化值的和最大，也就是从包括两个实体和。两个实体下，采取动作进而得到反馈并进入状态动作

流程图,交通控制,流程,学位论文

究生学位论文第三章基于 Q 学习及模糊技Q( ， ) ← R( ， ) ＋γ ( ＋1获得最大的报酬，一个状态的 ( )的此式 3.3 可转换成如下所示。Q( ， ) ← R( ， ) ＋γ ∈ ( 态参数，采用状态--动作查表的形式对开始

交通状态,隶属度函数,绿灯,配时

法准确描述的交通状态进行划分，从而成一个个的类别，这的本领。本文基于模糊事物的本质对交通状态进行了概括和，人们可以将交通状态描述为“非常好”、“很好”、“良好”、绿灯相位的配时时长也可以模糊化为“短”、“很短”、“一般绿灯相位配时时长作为输入变量设置模糊语言集合，其中交、“好”、“较好”、“略好”、“一般”、“略差”、“较差”、“差”、 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, }；绿灯相位的配时时短”、“短”、“较短”、“略短”、“一般”、“略长”、“较长”、“的记为{ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, }。针规定：如果相位绿灯配时时间过短，则车辆无法安全的通过则司机可能产生不耐烦心理，甚至会有“路怒”的情况发生决定绿灯配时方案的选择依据称为 Q 值。Q 值越大则，选择变量 Q 值的模糊语言定义为{“负高”“负中”,“负低”,“零”记为{NB, NM, NS, ZO, PS, PM, PB}。交通状态，相位绿灯时 3.3，3.4，3.5 所示。

【参考文献】