基于自适应动态规划的城市交通信号优化控制方法综述

  本文关键词：基于自适应动态规划的城市交通信号优化控制方法综述，，由笔耕文化传播整理发布。

第352009年6月

ACTAAUTOMATICASINICA

June,2009

基于自适应动态规划的城市交通信号优化控制方法综述

赵冬斌1

刘德荣1

易建强1

摘要针对日益受到重视的自适应动态规划(Adaptivedynamicprogramming,ADP)的方法和应用进行了概述.详细分析了自适应动态规划的关键问题,如收敛性、稳定性和协调性的研究现状和趋势.介绍了城市交通信号控制问题的特点和目前采用的控制方法,以及自适应动态规划方法在街区路口和快速路入口匝道的交通信号优化控制的应用现状和前景.关键词自适应动态规划,收敛性,稳定性,协调性,交通信号控制中图分类号TP274

AnOverviewontheAdaptiveDynamicProgrammingBased

UrbanCityTra cSignalOptimalControl

ZHAODong-Bin1

LIUDe-Rong1

YIJian-Qiang1

AbstractThispapersurveysthealgorithmsandapplicationofahotspotadaptivedynamicprogramming(ADP).Somekeyresearchissues,includingconvergence,stability,andcoordinationofadaptivedynamicprogramming,areextensivelyanalyzed.Theproblemsofurbancitytra csignalcontrolandcurrentcontrolschemesareintroduced,aswellasthepresentandpotentialapplicationsofadaptivedynamicprogrammingintheoptimizationoftra csignalcontrolbothinsurfacewayintersectionsandfreewayrampmeteringsystems.Keywords

Adaptivedynamicprogramming(ADP),convergence,stability,coordination,tra csignalcontrol

自适应动态规划(Adaptivedynamicprogram-ming,ADP)本质上基于强化学习原理,模拟人通过环境反馈进行学习,近年来被认为是一种非常接近人脑智能的方法[1].1977年,Werbos[2]首次提出自适应动态规划的思想,命名为ACD(Adaptivecriticdesign).其主要原理基于人工神经网络能以任意精度逼近非线性函数的特性,通过单步计算估计动态规划一段时间序列的性能指标函数,有效地解决了动态规划计算“维数灾”的难题,为高维复杂系统的最优控制提供了一种切实可行的理论和方法.随后受到人们的广泛重视,也产生了很多同义名称,如Approximatedynamicprogramming[3]、Asymptoticdynamicprogramming[4]、Neuro-dynamicprogramming[5]等.2006年美国科学基金会组织的“2006NSFWorkshopandOutreachTutorialsonApproxi-mateDynamicProgramming”研讨会上,建议将该方法统一为Adaptive/Approximatedynamicpro-gramming.自适应动态规划是人工神经网络、最优

收稿日期2008-12-18收修改稿日期2009-02-25

ReceivedDecember18,2008;inrevisedformFebruary25,2009国家自然科学基金(60874043,60621001)资助

SupportedbyNationalNaturalScienceFoundationofChina(60874043,60621001)

1.中国科学院自动化研究所复杂系统与智能科学重点实验室,北京100190

,InstituteofAutomation,ChineseAcademyofSciences,Beijing100190

DOI:10.3724/SP.J.1004.2009.00676

控制和强化学习(Reinforcementlearning)相融合产生的交叉领域,也可以认为是离散领域的强化学习在连续领域的扩展,Bertsekas等[5]则将其定义为现代版的强化学习.自适应动态规划在各种复杂控制领域得到了广泛应用,包括飞机的自动降落控制[6]、多个电梯的调度控制[7]、无线通讯网络的控制[8]、智能交通系统的控制与管理[9]等.

另一方面,随着近年来交通需求的快速增长,尽管道路越建越多,可交通却越来越堵,交通拥堵似乎成了城市交通的典型缩影.除去交通规划与设计不合理、公众交通意识淡薄等方面的因素外,另一方面的重要原因在于现有的城市交通信号控制系统没有充分发挥合理的交通指挥和疏导作用.目前国内城市所采用的城市交通信号控制系统多为集中式控制系统,如北京采用的SCOOT系统,可以实现一个区域内交通信号的协调控制,但仍然存在单路口交通信号控制对交通流变化的适应性差、交通分区不合理和多路口交通信号协调性差等问题.可以预见,随着交通设施的快速发展和人们对交通需求的不断提高,城市交通信号控制的重要性将日益突出.由于交通信号控制系统本质上是分布式控制系统,控制系统结构趋于采用分层递阶结构,将每个交通路口作为一个代理(Agent),通过分布式多代理系统(Multi-agentsystems,MAS)的协调优化理论和方法来实现区域交通信号的协调优化调节.无论是单个代理的性能优化,还是MAS的协调优化,强化学习方法的应用研究逐渐增多.这是由于通常情况下,

  本文关键词：基于自适应动态规划的城市交通信号优化控制方法综述，由笔耕文化传播整理发布。