MDP下基于特征表示强化学习的自适应交通信号控制

发布时间：2018-11-15 18:27

【摘要】：将传统强化学习算法应用到交叉口自适应交通信号控制中,存在着维数灾难的问题,即状态和动作空间大小随着交叉口的增加而呈指数增长。因此,将交叉口自适应交通信号控制问题看成马尔科夫决策过程(MDP)问题,通过有效地利用基于特征的状态表示和线性平均函数估计思想,减少了计算复杂度,保证了收敛性。在设置的多交叉口交通环境下,仿真试验表明:在不同的交通需求水平和车流到达分布下,此算法均优于定时控制和传统的强化学习算法,并且其参数θ和学习步数是收敛的。
[Abstract]:Applying the traditional reinforcement learning algorithm to the adaptive traffic signal control of intersections, there exists the problem of dimension disaster, that is, the state and the size of the action space increase exponentially with the increase of the intersection. Therefore, the intersection adaptive traffic signal control problem is regarded as the (MDP) problem of Markov decision process, and the computational complexity is reduced by using the eigen-based state representation and the idea of linear average function estimation. The convergence is guaranteed. In the environment of multi-intersection traffic, the simulation results show that the proposed algorithm is superior to the timing control and the traditional reinforcement learning algorithm under different traffic demand levels and the arrival distribution of vehicle flow, and the parameters 胃 and the number of learning steps are convergent.
【作者单位】： 广州航海学院;
【基金】：国家自然科学基金项目(61263024,51268017) 广州市哲学社会科学发展“十二五”规划课题项目(13G28)
【分类号】：U491.54

【相似文献】

相关期刊论文 前10条

1 承向军;常歆识;杨肇夏;;基于Q-学习的交通信号控制方法[J];系统工程理论与实践;2006年08期

2 王学慧;;交通信号控制虚拟实验平台设计[J];信息技术;2006年10期

3 梁子君;张代胜;;交通信号控制辅助教学系统[J];计算机时代;2008年01期

4 王令群;陆小芳;郑应平;;一种智能交通信号控制模型[J];实验室研究与探索;2010年01期

5 胡治刚;;常熟道路交通信号控制的现状及未来发展方向[J];山西建筑;2012年24期

6 王安生;程守谦;;单片机在交通信号控制中的应用[J];交通与计算机;1993年01期

7 姬建岗;;基于蚁群算法的交通信号控制[J];公路交通科技(应用技术版);2014年02期

8 王长君;袁建华;邱红桐;苑雷;;交通信号控制技术及标准需求[J];中国交通信息产业;2004年11期

9 承向军,杨肇夏;一种分布式交通信号控制方法及仿真实现[J];系统仿真学报;2005年08期

10 姚新胜;罗霞;杜进有;;基于多目标满意优化的交通信号控制[J];计算机工程与应用;2006年35期

相关会议论文 前3条

1 刘淑华;程宇;李高权;尹禄;;基于时序图规划的交通信号控制方法[A];2011年中国智能自动化学术会议论文集（第一分册）[C];2011年

2 郑洁;陆化普;李志恒;;模糊控制在交通信号控制中的应用研究与探讨[A];第一届中国智能交通年会论文集[C];2005年

3 孙洪运;陈东静;肖琳;李林波;吴兵;;干线局部拥挤条件下红波带信控策略设计与实施研究[A];第七届中国智能交通年会优秀论文集——智能交通技术[C];2012年

相关重要报纸文章 前5条

1 胡启涌;凤冈县规范县城区交通秩序[N];贵州政协报;2008年

2 赵明林邋实习生 毛小蕾;轨道交通信号控制将造“中国心”[N];中国交通报;2008年

3 记者 谢莉葳;智能交通标准先行[N];中国消费者报;2010年

4 张佳丽;红绿灯能否更加人性化[N];中国建设报;2006年

5 肖遥;“潮汐式”拥堵将有所缓解[N];江阴日报;2011年

相关博士学位论文 前6条

1 夏新海;面向城市自适应交通信号控制的强化学习方法研究[D];华南理工大学;2013年

2 周申培;考虑排放因素的城市交叉口交通信号控制策略的研究[D];武汉理工大学;2009年

3 牟海波;城市交通信号控制及其应用研究[D];兰州交通大学;2012年

4 管青;区域交通信号控制与交通诱导协同理论与关键技术研究[D];吉林大学;2009年

5 卢守峰;基于元胞自动机的交通信号控制与路径诱导的协同研究[D];吉林大学;2006年

6 杨祖元;城市交通信号系统智能控制策略研究[D];重庆大学;2008年

相关硕士学位论文 前10条

1 唐建华;强化学习及其在城市交通信号控制中的应用研究[D];西安电子科技大学;2012年

2 李瑾;交通信号控制战略方案选择研究[D];天津大学;2008年

3 魏勇;城市区域交通信号控制及交通状态分析研究[D];浙江大学;2013年

4 朱理;克隆选择算法在城市道路交通信号控制中的应用研究[D];湘潭大学;2010年

5 刘喜敏;面向智能化与集成化的交通信号控制研究[D];吉林大学;2006年

6 顾九春;城市交通信号控制系统数据交换标准研究[D];北京工业大学;2005年

7 申亮;交通信号控制自适应模型及相位同步方法研究[D];大连理工大学;2013年

8 伦立宝;基于强化学习的城市交通信号控制方法研究[D];西安电子科技大学;2013年

9 关金金;基于驾驶员个性气质特征的交通信号控制仿真分析[D];安徽农业大学;2011年

10 程婉燕;基于多智能体的城市交通信号控制的协调与优化[D];福建农林大学;2009年

，

本文编号：2334093