基于Sarsa学习算法的路径诱导算法研究

发布时间：2017-05-13 02:02

  本文关键词：基于Sarsa学习算法的路径诱导算法研究，由笔耕文化传播整理发布。

【摘要】：近几十年来,随着我国城市机动化和城镇化的加快,城市遭遇了许多交通问题,如交通拥堵、交通安全、交通污染等。在城市地区,交通拥堵是最为普遍的交通问题,许多学者对解决城市交通拥堵问题作出了努力并提出了多种解决方案。其中,智能交通系统(ITS)是一种有效的解决交通问题的系统。作为智能交通系统的重要研究方面,中心式动态路径诱导系统是目前公认的提高交通效率、缓解交通拥堵的最佳途径。由于交通系统复杂多变、影响因素众多、路网规模庞大,基于精密交通流数学模型的路径诱导的实施困难极大,对于数学模型要求较低的智能技术是目前行之有效的方法。为此,本文利用人工智能手段中的强化学习策略来建立中心式动态路径诱导策略。首先,我们设计基于Sarsa学习的在线的动态路径诱导模式来优化路网的整体使用效率。其次,从整个交通系统的角度出发,并考虑到交通系统的中各个局部交通环境的区别提出了基于全局和局部联合控制策略作为Sarsa学习的行为选择函数。最后,为了解决大规模路网中Sarsa学习寻优困难的问题,采用基于进化的聚类技术划分原始交通网来建立多层次网络,使得基于多层网络的动态路径诱导算法可以很快的收敛。本文在研究路径诱导算法的基础上,将中心式路径诱导系统、强化学习、全局和局部联合控制策略以及多目标遗传算法聚类生成多层网的研究特色融合在路径诱导算法中,尤其是应用了强化学习中的适合在动态系统中在线学习的Sarsa学习算法。实验结果显示,本文提出的基于Sarsa学习的路径诱导算法不但可以减少交通系统中车辆的平均行驶时间,还能减少系统中的拥堵现象,提高了交通系统的效率。并且,本文在该算法的基础上,分别从强化学习的行为选择函数和“状态 行为”搜索空间的角度进行了改进,实验结果显示,这些算法进一步的提高了交通系统的效率。
【关键词】：路径诱导系统 强化学习 Sarsa学习 遗传算法 多层网方法
【学位授予单位】：沈阳理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U495;TP18
【目录】：

• 摘要7-8
• Abstract8-13
• 第1章 绪论13-19
• 1.1 研究的背景和意义13-14
• 1.2 国内外研究现状14-17
• 1.3 研究的目标和内容17-18
• 1.4 本文组织结构18-19
• 第2章 相关研究工作19-27
• 2.1 引言19
• 2.2 强化学习19-24
• 2.2.1 基于强化学习的智能控制方法20-21
• 2.2.2 强化学习的MDP模型21
• 2.2.3 强化学习的最优策略21-22
• 2.2.4 行为选择策略22-23
• 2.2.5 TD算法23
• 2.2.6 Sarsa学习算法23-24
• 2.3 中心式路径诱导系统24-25
• 2.4 本章小结25-27
• 第3章 基于Sarsa学习的路径诱导算法27-35
• 3.1 引言27
• 3.2 传统路径诱导算法27-29
• 3.2.1 Dijkstra算法28
• 3.2.2 A*算法28-29
• 3.3 基于Sarsa学习路径诱导系统的强化学习模型29-31
• 3.3.1 路径诱导算法的强化学习模型29
• 3.3.2 Q值表29-30
• 3.3.3 基于Q值的动态规划算法30-31
• 3.4 基于Sarsa学习的路径诱导算法31-34
• 3.5 本章小结34-35
• 第4章 基于全局和局部联合控制策略的动态路径诱导算法35-44
• 4.1 引言35-36
• 4.2 基于全局和局部联合控制策略的波兹曼概率分布36-38
• 4.2.1 改进的波兹曼概率分布36-37
• 4.2.2 全局控制策略37
• 4.2.3 局部控制策略37-38
• 4.3 基于全局和局部联合控制策略的动态路径诱导算法38-40
• 4.4 全局和局部控制参数分析40-43
• 4.5 本章小结43-44
• 第5章 基于多层网络的Sarsa学习路径诱导算法44-56
• 5.1 引言44-45
• 5.2 多层网45-48
• 5.3 遗传算法聚类48-49
• 5.3.1 遗传算法48-49
• 5.3.2 基于遗传算法的聚类分析49
• 5.4 基于遗传算法的多层网方法49-51
• 5.5 基于多层网的路径诱导算法51-55
• 5.6 本章小结55-56
• 第6章 仿真与实验结果分析56-69
• 6.1 SUMO仿真器56-58
• 6.1.1 SUMO仿真器介绍56-57
• 6.1.2 SUMO仿真器界面57-58
• 6.2 路径诱导算法算法仿真实验58-68
• 6.2.1 仿真设置58-59
• 6.2.2 基于Sarsa学习的路径诱导算法59-64
• 6.2.3 基于全局和局部联合控制策略的动态路径诱导算法64-67
• 6.2.4 基于多层网络的Sarsa学习路径诱导算法67-68
• 6.3 本章小结68-69
• 结论69-71
• 参考文献71-77
• 攻读硕士学位期间发表的论文和获得的科研成果77-78
• 致谢78-79

【相似文献】

中国期刊全文数据库 前10条

1 苏海滨;王继东;侯朝桢;;道路网络分层的快速路径诱导算法[J];火力与指挥控制;2008年07期

2 陆阳;胡坚明;张佐;王顺智;高逸涵;;面向北京市路网特点的新型路径诱导算法及实现[J];交通信息与安全;2009年02期

3 文孟飞;彭军;刘伟荣;李冲;张晓勇;;一种增量式多目标优化的智能交通路径诱导方法[J];湖南大学学报(自然科学版);2013年05期

4 朱权;安实;谢秉磊;;双目标路径诱导下的交通信息定价策略[J];交通运输工程学报;2007年01期

5 金照;徐建闽;;数据融合技术在路径诱导中的应用研究[J];交通与计算机;2008年04期

6 何鹏;潘君;薛倩;;基于遗传算法的驾驶员动态路径诱导研究[J];现代电子技术;2009年15期

7 潘海珠;杜晓昕;王波;;交通路径诱导系统中最优路径选取研究与仿真[J];计算机仿真;2012年07期

8 李志纯,黄海军;多目标路径诱导下平衡市场渗透率的确定[J];系统工程理论与实践;2004年09期

9 杜长海;黄席樾;杨祖元;唐明霞;杨芳勋;;改进的蚁群算法在动态路径诱导中的应用研究[J];计算机工程与应用;2008年27期

10 董永峰;刘艳柳;张娜;顾军华;;基于改进蚁群算法的动态多路径诱导系统研究[J];河北工业大学学报;2010年03期

中国重要会议论文全文数据库 前8条

1 秦进;侯桂荣;;基于车辆的混合式路径诱导系统分析[A];2007第三届中国智能交通年会论文集[C];2007年

2 秦进;史峰;侯桂荣;;基于车辆的混合式路径诱导系统[A];第二十七届中国控制会议论文集[C];2008年

3 毛永明;张东伟;;智能交通动态路径诱导算法研究[A];第十届沈阳科学学术年会论文集（信息科学与工程技术分册）[C];2013年

4 倪玲霖;秦进;;基于车辆的混合式路径诱导系统框架研究[A];2011年中国智能自动化学术会议论文集（第一分册）[C];2011年

5 杨立才;贾磊;孔庆杰;;基于人工免疫系统的动态路径诱导算法研究[A];可持续发展的中国交通——2005全国博士生学术论坛（交通运输工程学科）论文集（下册）[C];2005年

6 梅振宇;项贻强;陈峻;王炜;;非完全动态信息下基于风险估计的路径诱导方法[A];2007第三届中国智能交通年会论文集[C];2007年

7 王冠生;郑江华;瓦哈甫·哈力克;李荣立;;基于Haptic技术的盲人辅助路径诱导服务研制[A];地理学核心问题与主线——中国地理学会2011年学术年会暨中国科学院新疆生态与地理研究所建所五十年庆典论文摘要集[C];2011年

8 王英杰;程琳;王炜;;交通网络不确定性分析及路径诱导信息提供[A];2007第三届中国智能交通年会论文集[C];2007年

中国重要报纸全文数据库 前1条

1 李卉;智能交通产业风光无限[N];中国机电日报;2002年

中国硕士学位论文全文数据库 前10条

1 张锴;基于自适应量子人工鱼群算法的动态路径诱导研究[D];东北大学;2014年

2 王艺凯;基于路径诱导折线蚁群算法的路径优化研究[D];辽宁大学;2016年

3 王星乔;基于Sarsa学习算法的路径诱导算法研究[D];沈阳理工大学;2016年

4 范东凯;城市动态路径诱导算法研究[D];长安大学;2006年

5 孙霞;基于改进遗传算法的城市交通路径诱导系统的研究[D];重庆大学;2007年

6 梁晶;哈尔滨市交通路径诱导系统研究[D];哈尔滨工程大学;2011年

7 赵丹;城市交通路径诱导算法研究[D];长安大学;2009年

8 赵俊军;基于演化博弈与人工免疫的路径诱导算法研究[D];昆明理工大学;2013年

9 韩星;灾变条件下公路网动态路径诱导决策模型与算法设计[D];北京交通大学;2010年

10 郝新刚;车辆导航系统路径诱导算法研究[D];山东科技大学;2011年

  本文关键词：基于Sarsa学习算法的路径诱导算法研究，由笔耕文化传播整理发布。

，

本文编号：361306