基于深度强化学习的信号灯自适应决策

发布时间：2020-10-23 00:05

　　 城市交通贯穿于城市公共空间的各个区域,经过长期发展,已经形成较为完善的格局,提高了居民的出行效率。但随着经济的发展和城市化进程的加快,城市人口及人均汽车保有量快速增长,交通拥堵问题日趋严重,交通不畅、运输效率低下、环境污染等问题日益严峻,严重影响了城市的可持续发展。交通信号灯的自适应控制能够有效地缓解交通拥堵问题,但以往的交通信号灯控制方法通常根据车辆排队长度、交通流量、车道占有比等传统的交通参数对信号灯配时方案进行优化,没有充分利用交叉口的状态信息;或仅考虑单个交叉口信号灯的优化,没有与其它交叉口信号灯协同以达到区域路网上的最优控制。为了解决上述问题,本文对基于深度强化学习的信号灯自适应决策进行了研究,所做的主要工作如下:(1)本文提出一种带有Q值迁移的协同深度Q学习算法。将多交叉口信号灯的控制建模为多Agent系统,每个Agent通过一个深度Q网络来寻找交叉口的最优策略,为充分利用交叉口的状态信息,将进入交叉口车辆的位置和速度信息的离散编码作为网络的输入;为协同多个交叉口的信号灯,各Agent的网络在训练的过程中考虑相邻交叉口最近的动作的影响,将相邻Agent最近时刻的最优Q值迁移到当前交叉口网络的损失函数中。该方法不仅可以对区域道路网络的信号灯进行协同控制,还可以扩展到更多交叉口而不会造成维度灾难,且可以对异构的多交叉口进行协同控制。通过在不同路网结构上进行多种车密度实验,验证了所提算法的有效性、适应性和可扩展性。(2)本文提出一种基于多任务深度Q网络的Q值迁移协同控制方法。区域路网上各交叉口的车流情况通常不同,因此可将路网上的各交叉口的控制视为不同的任务,每个交叉口的控制对应一个任务,多个任务之间存在相似性,通过共享相似任务的表征可以使模型拥有更好的特征提取能力、决策能力和泛化能力。首先为每个交叉口训练一个专家DQN网络;然后在多个专家网络的指导下训练一个多任务DQN网络,使得多任务网络能够同时学习如何在多个任务中工作,然后在没有专家指导的情况下把学到的知识推广到新的任务(不同交通流密度的交叉口);最后采用迁移学习技术,将多任务网络迁移到每个交叉口上,再采用基于Q值迁移的协同算法来协同控制多交叉口的信号灯。实验结果证明了本方法的有效性。并对有多任务学习和无多任务学习进行比较,证明多任务学习在本文方法中确实对性能有很大提升。
【学位单位】：大连理工大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：U491.54;TP18
【文章目录】：
摘要
Abstract
1 绪论
    1.1 课题研究背景和意义
    1.2 信号灯自适应控制方法回顾
    1.3 本论文的研究目标及内容安排
2 相关背景知识
    2.1 深度学习
        2.1.1 神经网络
        2.1.2 批归一化
        2.1.3 卷积神经网络
    2.2 强化学习
        2.2.1 马尔可夫决策过程与强化学习
        2.2.2 Q学习和Sarsa
        2.2.3 探索策略
        2.2.4 值函数近似
    2.3 深度强化学习
    2.4 本章小结
3 基于Q值迁移深度强化学习的信号灯协同控制
    3.1 多Agent系统中的强化学习
    3.2 多交叉口信号灯控制建模
        3.2.1 多交叉口结构描述
        3.2.2 基于多Agent的深度强化学习建模
    3.3 基于Q值迁移的协同DQN控制方法
    3.4 仿真实验与结果分析
        3.4.1 实验环境
        3.4.2 参数设置及评价指标
        3.4.3 实验结果和分析
    3.5 本章小结
4 基于多任务深度Q网络的Q值迁移协同控制
    4.1 基于多任务深度强化学习的多交叉口信号灯控制
    4.2 仿真实验与结果分析
        4.2.1 实验环境及参数设置
        4.2.2 实验结果和分析
    4.3 本章小结
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢

【相似文献】

相关期刊论文 前10条

1 葛鹏;;无信号灯路口发生事故如何判定责任[J];汽车与安全;2017年02期

2 邢静;秦嘉宝;;智能交通信号灯控制系统研究[J];信息技术与信息化;2019年06期

3 武亚雄;;基于PLC的信号灯控制系统[J];信息通信;2014年12期

4 张娟萍;;PLC技术在交通信号灯控制方面的应用[J];电脑开发与应用;2014年05期

5 沈昊;;无信号灯控制平交口绿化设计与安全性研究[J];智能城市;2016年04期

6 侯鹏飞;陈虹霖;罗毅;商春雪;唐明靖;时燕;;基于车流量的智能信号灯的控制算法研究[J];物联网技术;2019年08期

7 杨聚宝;白帆;张瑜;;智能信号灯控制系统设计[J];河南师范大学学报(自然科学版);2007年01期

8 侯宝生;;交通信号灯控制综合设计性实验的研究与实践[J];中国教育技术装备;2011年18期

9 高战;田鹏;乔云娇;;基于ARM的航行信号灯控制系统设计[J];日用电器;2018年04期

10 李旻朔;姚明海;;用于交通信号灯控制的特征表示近似Q学习[J];计算机科学;2018年S2期

相关博士学位论文 前1条

1 李银飞;城市道路通畅性问题研究[D];浙江大学;2006年

相关硕士学位论文 前10条

1 胡猛;基于Q-Learning算法的智能信号灯系统[D];大连理工大学;2019年

2 相迎宵;I-SIG系统中双向投毒攻击分析及防护[D];北京交通大学;2019年

3 宋玉美;基于深度强化学习的信号灯自适应决策[D];大连理工大学;2019年

4 李振勤;V2X在无人驾驶智能车信号灯检测中的应用研究[D];安徽工业大学;2019年

5 韩京慧;基于自耦型电感和分段控制模式的特种信号灯研制[D];延边大学;2018年

6 张孟东;基于北斗导航的车载监视信号灯系统的设计与实现[D];北方民族大学;2018年

7 吴艳兰;考虑车辆与行人的单交叉口信号灯配时优化研究[D];长沙理工大学;2018年

8 张博;车辆速度与信号灯协同控制研究[D];大连理工大学;2017年

9 刘连芳;基于RFID和ZigBee技术的智能信号灯控制系统[D];长春工业大学;2011年

10 邢玉梅;基于Agent智能交通信号灯控制的研究[D];吉林大学;2008年

本文编号：2852264