平均排队长度差最小的单交叉口在线Q学习模型

发布时间：2019-06-13 09:38

【摘要】：建立了以平均排队长度差最小为优化目标的在线Q学习模型.针对控制性能指标相对于临近的配时方案不敏感的特点,提出了以平均排队长度差作为基本单位重新构造奖励函数,目的是拉大各行为对应的Q值差距,提高模型的收敛速度和鲁棒性.集成Excel VBA、Vissim、Matlab建立了在线仿真平台,作为计算环境对模型进行了计算.利用GPS数据对Vissim软件中车辆加减速度曲线进行了标定.计算结果表明以平均排队长度差作为优化目标能够优化整个交叉口的时空资源,本文建立的在线Q学习模型具有较快的收敛速度和鲁棒性,通过学习能够实现优化目标.
[Abstract]:An online Q learning model with the optimization goal of minimizing the average queue length difference is established. In view of the fact that the control performance index is insensitive to the adjacent timing scheme, this paper proposes to reconstruct the reward function with the average queue length difference as the basic unit, in order to widen the Q value gap corresponding to each behavior and improve the convergence speed and robustness of the model. The online simulation platform is established by integrating Excel VBA,Vissim,Matlab, and the model is calculated as a computing environment. The acceleration and deceleration curve of vehicle in Vissim software is calibrated by using GPS data. The calculation results show that the space-time resources of the whole intersection can be optimized with the average queue length difference as the optimization objective. The online Q learning model established in this paper has fast convergence speed and robustness, and the optimization goal can be achieved through learning.
【作者单位】： 长沙理工大学交通运输工程学院;
【基金】：湖南省自然科学基金重点项目(12JJ2025) 长沙市科技局重点项目(K1106004-11)
【分类号】：U491

【参考文献】

相关期刊论文 前2条

1 马寿峰,李英,刘豹;一种基于Agent的单路口交通信号学习控制方法[J];系统工程学报;2002年06期

2 承向军;常歆识;杨肇夏;;基于Q-学习的交通信号控制方法[J];系统工程理论与实践;2006年08期

【共引文献】

相关期刊论文 前10条

1 赵晓华;李振龙;于泉;张杰;;基于切换模型的两交叉口信号灯Q学习协调控制[J];北京工业大学学报;2007年11期

2 别一鸣;王殿海;马东方;朱自博;;基于车队离散模型的分布式多智能体信号协调控制算法(英文)[J];Journal of Southeast University(English Edition);2011年03期

3 陈阳舟;张辉;杨玉珍;胡全连;;基于Q学习的Agent在单路口交通控制中的应用[J];公路交通科技;2007年05期

4 赵晓华;石建军;李振龙;赵国勇;;基于Q-learning和BP神经元网络的交叉口信号灯控制[J];公路交通科技;2007年07期

5 黄艳国;唐军;许伦辉;;基于Agent的城市道路交通信号控制方法[J];公路交通科技;2009年10期

6 李春贵;阳树洪;王萌;张增芳;;基于SARSA(λ)算法的单路口交通信号学习控制[J];广西工学院学报;2008年02期

7 陈若航;;基于agent的城市过境交通流模型[J];广西物理;2007年02期

8 卢守峰;邵维;韦钦平;刘喜敏;;基于绿灯时间等饱和度的离线Q学习配时优化模型[J];系统工程;2012年07期

9 曹洁;王艳雨;;基于Q学习的交通信号自学习控制方法的研究[J];工业仪表与自动化装置;2013年04期

10 卢守峰;张术;刘喜敏;;单交叉口多相位在线Q学习交通控制模型[J];交通科学与工程;2014年01期

相关博士学位论文 前8条

1 闻育;复杂多阶段动态决策的蚁群优化方法及其在交通系统控制中的应用[D];浙江大学;2004年

2 朱文兴;城市交通系统智能优化控制研究[D];山东大学;2006年

3 郭海锋;局部拥挤条件下城市道路交通信号控制方法研究[D];吉林大学;2008年

4 于万霞;基于流量预测的城市单交叉路口多相位交通信号的控制技术[D];河北工业大学;2008年

5 田翠华;基于WSRF的交通信息服务网格的研究[D];东北大学;2008年

6 张良智;城市区域交通控制技术研究[D];山东大学;2013年

7 丁建梅;基于交通组成的干道交通系统信号控制方法研究[D];哈尔滨工业大学;2009年

8 夏新海;面向城市自适应交通信号控制的强化学习方法研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 李志强;Q学习在单路口交通信号控制中的应用研究[D];长沙理工大学;2010年

2 闫向磊;基于近似动态规划的城市交通信号优化控制算法研究[D];广西工学院;2011年

3 赵雅秀;公交信号优先控制理论与方法研究[D];重庆交通大学;2011年

4 张辉;区域交通信号网络协调控制的研究[D];北京工业大学;2006年

5 於蓓蓓;溪洛渡水电站场内交通系统层次多代理系统及其决策问题的研究[D];天津大学;2006年

6 江岸;基于多Agent的城市交通控制与诱导系统协作研究[D];长沙理工大学;2007年

7 王阳;基于云模型的交通信号自适应控制系统研究[D];北京交通大学;2008年

8 刘虹秀;基于Multi-Agent的城市交通信号控制研究[D];长沙理工大学;2008年

9 高丽颖;基于Agent的城市交通信号控制方法研究[D];北京工业大学;2008年

10 封晨;基于Q-学习的单路口智能信号控制研究[D];昆明理工大学;2008年

【二级参考文献】

相关期刊论文 前5条

1 马寿峰,李英,刘豹;一种基于Agent的单路口交通信号学习控制方法[J];系统工程学报;2002年06期

2 马寿峰,贺国光,刘豹;一种通用的城市道路交通流微观仿真系统的研究[J];系统工程学报;1998年04期

3 承向军,贺振欢,杨肇夏;基于遗传算法的交通信号机器学习控制方法[J];系统工程理论与实践;2004年08期

4 陈洪,陈森发;单路口交通实时模糊控制的一种方法[J];信息与控制;1997年03期

5 俞星星,阎平凡;强化学习系统及其基于可靠度最优的学习算法[J];信息与控制;1997年05期

【相似文献】

相关期刊论文 前10条

1 闻育,吴铁军;基于蚁群算法的城域交通控制实时滚动优化[J];控制与决策;2004年09期

2 闻育,吴铁军;基于蚁群算法的交通控制降阶滚动优化[J];浙江大学学报(工学版);2005年06期

3 陈峰;贾元华;李健;郝琪;;结合部区域入口匝道协调控制模型[J];北京交通大学学报;2010年06期

4 陈峰;贾元华;牛忠海;易惠欣;宋惠娟;;基于模糊神经网络的结合部匝道控制方法研究[J];交通运输系统工程与信息;2011年01期

5 段源华，陈洪仁，，李元诚;干道交通控制的子系统比拟方法及控制时段确定[J];哈尔滨建筑大学学报;1995年02期

6 王金艳,刘铁成;高速公路交通控制策略[J];河南交通科技;1998年03期

7 周彤梅,冶文斌;道路交通控制的发展趋势研究[J];公安大学学报(自然科学版);2002年06期

8 于万霞;杜太行;郑宏兴;;基于粒子群的模糊神经网络交通信号控制[J];微计算机信息;2008年07期

9 毛汉颖;杨钢锋;黄振峰;;交通信号机基于DSP的方案设计[J];广西工学院学报;2008年03期

10 白小雷;;UTC交通信号机流量数据报告的实现[J];电脑编程技巧与维护;2010年20期

相关会议论文 前10条

1 黎冬平;陈峻;;路段人行横道信号控制方式研究[A];2007第三届中国智能交通年会论文集[C];2007年

2 秦钟;王法胜;;交叉口排队长度的视频检测[A];第二十九届中国控制会议论文集[C];2010年

3 成卫;李学敏;陈昱光;袁满荣;;过饱和交叉口单点信号配时方法研究[A];2008第四届中国智能交通年会论文集[C];2008年

4 张国伍;;关于发展我国智能交通系统的几个问题[A];系统工程与可持续发展战略——中国系统工程学会第十届年会论文集[C];1998年

5 于泉;荣建;张金喜;;交通控制课程设计理论与实践平行建设探讨[A];土木建筑教育改革理论与实践[C];2009年

6 巨永锋;刘新华;;平面交叉口交通控制计算机仿真系统研究[A];2003年全国系统仿真学术年会论文集[C];2003年

7 徐欣;徐立鸿;;城市单交叉口两级加权神经网络控制系统设计与应用[A];'2008系统仿真技术及其应用学术会议论文集[C];2008年

8 吴德志;刘志荣;林淑芬;;城市道路交通控制系统的发展趋势[A];福建省科协第四届学术年会——提升福建制造业竞争力的战略思考专题学术年会论文集[C];2004年

9 李强伟;;信号控制交叉口最佳周期计算方法的比较分析[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年

10 张鹏;常玉林;;信号交叉口机动车饱和度配时方法研究[A];2007第三届中国智能交通年会论文集[C];2007年

相关重要报纸文章 前10条

1 王典丽;H3C关注国家轨道交通信息化建设[N];人民铁道;2008年

2 洪涛、张洋、志新、立辉，记者 贾建勇;我市引进西门子高科技交通控制系统项目在京签约[N];承德日报;2005年

3 工宣　;烟台建成交通控制系统集成平台[N];人民公安报;2005年

4 李进胜 记者　 卢军 邵晶岩;个体车成为交通事故多发群体[N];黑龙江日报;2006年

5 刘长林;北京轨道交通控制“心脏”年底竣工[N];中华建筑报;2007年

6 本报记者　 潘强;峰会交通：彰显政府软实力[N];中国改革报;2006年

7 夏丹邋通讯员 刘新海 岳川东;烟台蓄势城区立体大交通[N];烟台日报;2007年

8 谭富仁;白山黑水共建平安和谐校园[N];北方法制报;2008年

9 科左后旗公安交通警察大队 杨溢;环形交叉路口交通控制模式初探[N];通辽日报;2011年

10 罗瞻;确保高速公路平安高效运行[N];政府采购信息报;2007年

相关博士学位论文 前10条

1 李健;结合部路网匝道系统结构分解与协同控制方法研究[D];北京交通大学;2012年

2 袁满荣;昆明市主城区交通控制关键技术研究[D];吉林大学;2011年

3 王亮;城市快速路交通流采集与控制相关问题研究[D];天津大学;2005年

4 保丽霞;基于信息集成的城市交通流诱导与交通控制协同的关键理论及技术研究[D];吉林大学;2006年

5 杨立才;城市道路交通智能控制策略的研究[D];山东大学;2005年

6 谭满春;面向ITS的高速公路网交通分配与入口匝道控制方法研究[D];华南理工大学;2000年

7 李凤;公交信号优先协调控制理论与方法研究[D];吉林大学;2009年

8 彭博;大范围交通控制与交通流诱导协同关键技术研究[D];吉林大学;2011年

9 王富;城市事故灾难道路交通应急组织理论与方法研究[D];华中科技大学;2011年

10 姚荣涵;车辆排队模型研究[D];吉林大学;2007年

相关硕士学位论文 前10条

1 仕小伟;城市主干路交通溢流建模及其仿真研究[D];山东大学;2013年

2 李凤;过饱和状态下交叉口车辆延误和排队长度模型研究[D];吉林大学;2006年

3 陈斌;基于大系统递阶优化的交通控制与诱导协同方法研究[D];长安大学;2012年

4 张洁彬;基于车辆间通信的智能十字路口交通控制系统设计与实现[D];中山大学;2013年

5 谢颖;交通控制子区动态划分和信号协调优化控制[D];广西工学院;2011年

6 陈昱光;城市道路交通瓶颈信号控制方法研究[D];吉林大学;2008年

7 于晨牧;基于时序规划的交通信号区域协调控制方法研究[D];东北师范大学;2009年

8 李艳君;基于博弈论的交通控制与诱导一体化模型的研究[D];天津大学;2003年

9 梁潇;信号交叉口渠化区可变车道设计原理研究[D];吉林大学;2008年

10 唐磊;基于MapX的交通控制仿真系统的研究[D];南京理工大学;2010年

本文编号：2498434