基于Q-Learning算法的智能信号灯系统

发布时间：2021-10-22 12:18

　　随着经济的飞速发展,科技的进步,汽车已经进入了千家万户,为人们的出行带来了极大的方便。但随之而来的是一系列不可避免的环境和社会问题。例如,噪声污染、汽车尾气造成的环境污染、交通拥堵等。特别是交通拥堵,随着汽车数量的快速增长已经是一个不可避免的问题。为了解决交通拥堵的问题,研究者们将人工智能引入交通控制系统中,通过智能算法来优化交通资源的分配。在交通控制系统中,信号灯控制系统是最重要的一项。在现阶段,投入实际应用的信号灯控制系统中,固定时长的信号灯控制策略仍旧占据主导地位。而在多变的交通模式下,固定时长的信号灯策略已经不能合理地分配交通资源,造成了交通资源的浪费。本文中提出了一种基于Q-Learning算法的智能信号灯系统。在此系统中,参照蚁群算法,引入了数字信息素,将其作为车道上交通信息的载体。假设车辆在车道上留下数字信息素,系统根据车道上数字信息素的量来制定下周期的红绿灯时长策略。由于信息素会在车道上保留下来,信息素不仅可以保留下实时的交通信息,而且会保存历史的交通信息。故在分配下一周期的红绿灯时长时,不仅考虑到了实时的交通信息,而且会受到历史交通信息的影响。系统可以利用数字信息素的... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：53 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 选题背景和意义
    1.2 智能交通系统研究现状及发展趋势
    1.3 论文的主要研究内容
    1.4 论文章节安排
2 相关基础知识
    2.1 基于智能体的建模方法简介
    2.2 蚁群算法
        2.2.1 经典蚁群算法
        2.2.2 信号灯系统中的蚁群算法
    2.3 强化学习
        2.3.1 强化学习基础
        2.3.2 Q-Learning算法
        2.3.3 Q-Learning算法的实例
    2.4 Q-Learning算法在交通控制中的优势
    2.5 城市交通仿真软件SUMO
    2.6 本章小结
3 仿真模型设计
    3.1 道路环境
    3.2 车辆的相关参数
    3.3 信号灯系统时长设置策略
    3.4 Q-Learning算法的相关定义
        3.4.1 状态空间
        3.4.2 行为空间
        3.4.3 奖励值函数
        3.4.4 行为选择策略
    3.5 本章小结
4 模型验证
    4.1 实验前准备
    4.2 交通需求恒定
        4.2.1 车辆数恒定
        4.2.2 交通需求比恒定
    4.3 变化的交通需求
        4.3.1 车辆需求变化幅度的影响
        4.3.2 车辆需求变化频率的影响
    4.4 本章小结
5 基于Q-Learning算法的智能信号灯系统实验结果分析
    5.1 车辆需求设置及验证
    5.2 Q-Learning算法相关参数优化
    5.3 仿真实验结果与分析
    5.4 本章小结
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢



本文编号：3451083