基于Spark的智能交通流量预测技术研究
发布时间：2021-07-24 12:47
随着移动互联网的快速发展,每时每刻都有大量的数据产生,数据出现了爆炸式的增长,同时存储设备变得越来越廉价,然而面对海量的数据,人们发现从中找到适合自己的信息越来越困难、需要花费的时间也越来越长。另一方面人工智能的兴起,在交通领域提出了智能交通系统。而智能交通系统运行的先决条件是拥有准确、实时的交通流量预测系统。通过实时的交通流量预测系统,预知未来几分钟到几十分钟的交通流量,可以提前通过交通信号灯和交通控制管理系统对路面交通状况进行调控,从而达到缓解拥堵,提高交通效率的目标。因此在智能交通系统中,交通流量的精准预测变得尤为关键。本文针对目前智能交通流量预测精准性不高和存在延迟性的问题,通过对相关原理进行深入研究,实现了一种改进算法,并且在Spark平台上实现了分布式,提高了预测的精准性和效率。首先,本文介绍了历史交通数据的来源,对历史交通数据进行预处理。接着对路网进行分析建模,提取预测道路的特征数据,构建特征向量空间,然后使用Python语言实现了多元线性回归的算法来预测交通流量。最后本文研究了目前常用的智能交通流量模型,针对多元线性回归算法和梯度下降算法进行了改进,结合大数据处理技术S...
【文章来源】：沈阳理工大学辽宁省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图２．１?ＨＤＦＳ架构图??Ｆｉｇ．２．１?ＨＤＦＳ?Ａｒｃｈｉｔｅｃｔｕｒｅ?Ｄｉａｇｒａｍ??
ＭａｐＲｅｄｕｃｅ过程中，采用的是分而治之的思想，大的任务和数据分成一个个小的??任务和数据，一个个小的任务和数据分片分别同时被许多个Ｍａｐ函数执行，然后??再由ｒｅｄｕｃｅ汇总结果输出，其执行过程图如图２．２所示：??输入数据?Ｍａｐ阶段?Ｒｅｄｕｃｅｒ阶段?输出数据??数据分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？输出数据?１??数据分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一输出数据２??数据分片３?？?Ｍａｐｐｅｒ３?＾??图２＿２?ＭａｐＲｅｄｕｃｅ的过程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?简介??Ｓｐａｒｋ最开始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ实验室开发的自己用来分布式计算软??件，后来由Ａｐａｃｈｅ顶级开源项目负责维护开发，渐渐成为大数据领域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一个分布式计算引擎和一个专门的编程设计模型，其核心是采??用了基于内存的计算方法，因此速度比Ｈａｄｏｏｐ快很多，特别是有迭代计算逻辑的??业务上Ｓｐａｒｋ的速度优势更加明显，在Ｓｐａｒｋ的官网上更是着重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，随着Ｓｐａｒｋ的快速发展，Ｓｐａｒｋ生态圈日渐丰富，出现了??许多的子项目。Ｓｐａｒｋ家族中最具代表性的分支有四个，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用来进行??流式计算类似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用来进行图计算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于机器学习的
ＭａｐＲｅｄｕｃｅ过程中，采用的是分而治之的思想，大的任务和数据分成一个个小的??任务和数据，一个个小的任务和数据分片分别同时被许多个Ｍａｐ函数执行，然后??再由ｒｅｄｕｃｅ汇总结果输出，其执行过程图如图２．２所示：??输入数据?Ｍａｐ阶段?Ｒｅｄｕｃｅｒ阶段?输出数据??数据分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？输出数据?１??数据分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一输出数据２??数据分片３?？?Ｍａｐｐｅｒ３?＾??图２＿２?ＭａｐＲｅｄｕｃｅ的过程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?简介??Ｓｐａｒｋ最开始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ实验室开发的自己用来分布式计算软??件，后来由Ａｐａｃｈｅ顶级开源项目负责维护开发，渐渐成为大数据领域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一个分布式计算引擎和一个专门的编程设计模型，其核心是采??用了基于内存的计算方法，因此速度比Ｈａｄｏｏｐ快很多，特别是有迭代计算逻辑的??业务上Ｓｐａｒｋ的速度优势更加明显，在Ｓｐａｒｋ的官网上更是着重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，随着Ｓｐａｒｋ的快速发展，Ｓｐａｒｋ生态圈日渐丰富，出现了??许多的子项目。Ｓｐａｒｋ家族中最具代表性的分支有四个，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用来进行??流式计算类似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用来进行图计算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于机器学习的
【参考文献】：
期刊论文
[1]基于自适应随机梯度下降方法的非平衡数据分类[J]. 陶秉墨,鲁淑霞. 计算机科学. 2018(S1)
[2]基于Adaboost的改进多元线性回归算法中长期负荷预测[J]. 杨胡萍,李辉. 太原理工大学学报. 2017(05)
[3]网络爬虫针对“反爬”网站的爬取策略研究[J]. 邹科文,李达,邓婷敏,李嘉振,陈义明. 电脑知识与技术. 2016(07)
[4]Python科学计算包在实验数据处理中的应用[J]. 王振振. 计量技术. 2015 (07)
[5]一种基于MapReduce的短时交通流预测方法[J]. 梁轲,谭建军,李英远. 计算机工程. 2015(01)
[6]智能交通系统综述[J]. 赵娜,袁家斌,徐晗. 计算机科学. 2014(11)
[7]基于MapReduce的多元线性回归预测模型[J]. 代亮,许宏科,陈婷,钱超,梁殿鹏. 计算机应用. 2014(07)
[8]车联网大数据环境下的交通信息服务协同体系[J]. 段宗涛,康军,唐蕾,樊娜,刘研,代记婷. 长安大学学报(自然科学版). 2014(02)
[9]基于MapReduce的K-Medoids并行算法[J]. 张雪萍,龚康莉,赵广才. 计算机应用. 2013(04)
[10]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双. 电子学报. 2011(11)
博士论文
[1]城市道路网络结构分析及其对交通流的影响研究[D]. 赵玲.中南大学 2013
[2]多状态下城市快速路网交通流短时预测理论与方法研究[D]. 董春娇.北京交通大学 2011
[3]时空路网交通拥堵预测与疏导决策方法研究[D]. 任其亮.西南交通大学 2007
硕士论文
[1]基于Spark云计算平台的城市交通流实时预测技术[D]. 宁洪波.广东工业大学 2018
[2]基于神经网络的城市交通流量预测模型研究[D]. 张佳宁.广东工业大学 2016
[3]基于神经网络模型的短时交通流预测及应用研究[D]. 于亚男.太原理工大学 2015
[4]高速公路长隧道出口段昼间照明优化研究[D]. 林淼.长安大学 2012
[5]短时交通流预测模型及预测方法的研究[D]. 高雅.华东师范大学 2011
本文编号：3300681
【文章来源】：沈阳理工大学辽宁省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
图２．１?ＨＤＦＳ架构图??Ｆｉｇ．２．１?ＨＤＦＳ?Ａｒｃｈｉｔｅｃｔｕｒｅ?Ｄｉａｇｒａｍ??
ＭａｐＲｅｄｕｃｅ过程中，采用的是分而治之的思想，大的任务和数据分成一个个小的??任务和数据，一个个小的任务和数据分片分别同时被许多个Ｍａｐ函数执行，然后??再由ｒｅｄｕｃｅ汇总结果输出，其执行过程图如图２．２所示：??输入数据?Ｍａｐ阶段?Ｒｅｄｕｃｅｒ阶段?输出数据??数据分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？输出数据?１??数据分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一输出数据２??数据分片３?？?Ｍａｐｐｅｒ３?＾??图２＿２?ＭａｐＲｅｄｕｃｅ的过程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?简介??Ｓｐａｒｋ最开始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ实验室开发的自己用来分布式计算软??件，后来由Ａｐａｃｈｅ顶级开源项目负责维护开发，渐渐成为大数据领域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一个分布式计算引擎和一个专门的编程设计模型，其核心是采??用了基于内存的计算方法，因此速度比Ｈａｄｏｏｐ快很多，特别是有迭代计算逻辑的??业务上Ｓｐａｒｋ的速度优势更加明显，在Ｓｐａｒｋ的官网上更是着重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，随着Ｓｐａｒｋ的快速发展，Ｓｐａｒｋ生态圈日渐丰富，出现了??许多的子项目。Ｓｐａｒｋ家族中最具代表性的分支有四个，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用来进行??流式计算类似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用来进行图计算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于机器学习的
ＭａｐＲｅｄｕｃｅ过程中，采用的是分而治之的思想，大的任务和数据分成一个个小的??任务和数据，一个个小的任务和数据分片分别同时被许多个Ｍａｐ函数执行，然后??再由ｒｅｄｕｃｅ汇总结果输出，其执行过程图如图２．２所示：??输入数据?Ｍａｐ阶段?Ｒｅｄｕｃｅｒ阶段?输出数据??数据分片?１?？?Ｍａｐｐｅｒ?１???????？?Ｒｅｄｕｃｅ?１?？输出数据?１??数据分片?２?？?Ｍａｐｐｅｒ２??ｎ?＿＿?——??……???／?ｊＳ?Ｉ——？?Ｒｅｄｕｃｅ２——一输出数据２??数据分片３?？?Ｍａｐｐｅｒ３?＾??图２＿２?ＭａｐＲｅｄｕｃｅ的过程??Ｆｉｇ．２．２?ＭａｐＲｅｄｕｃｅ?ｐｒｏｃｅｓｓ??２．?１．２?Ｓｐａｒｋ?简介??Ｓｐａｒｋ最开始是由ＵＣ?Ｂｅｒｋｅｌｅｙ?ＡＭＰ?Ｌａｂ实验室开发的自己用来分布式计算软??件，后来由Ａｐａｃｈｅ顶级开源项目负责维护开发，渐渐成为大数据领域的主流框架??［Ｍ。Ｓｐａｒｋ框架包含一个分布式计算引擎和一个专门的编程设计模型，其核心是采??用了基于内存的计算方法，因此速度比Ｈａｄｏｏｐ快很多，特别是有迭代计算逻辑的??业务上Ｓｐａｒｋ的速度优势更加明显，在Ｓｐａｒｋ的官网上更是着重申明最高可以比??Ｈａｄｏｏｐ快一百倍。目前，随着Ｓｐａｒｋ的快速发展，Ｓｐａｒｋ生态圈日渐丰富，出现了??许多的子项目。Ｓｐａｒｋ家族中最具代表性的分支有四个，Ｓｐａｒｋ?Ｓｔｒｅａｍｉｎｇ用来进行??流式计算类似于Ｆｌｕｍｅ速度很快、Ｓｐａｒｋ?ＧｒａｐｈＸ是用来进行图计算的、Ｓｐａｒｋ?ＭＬＬｉｂ??用于机器学习的
【参考文献】：
期刊论文
[1]基于自适应随机梯度下降方法的非平衡数据分类[J]. 陶秉墨,鲁淑霞. 计算机科学. 2018(S1)
[2]基于Adaboost的改进多元线性回归算法中长期负荷预测[J]. 杨胡萍,李辉. 太原理工大学学报. 2017(05)
[3]网络爬虫针对“反爬”网站的爬取策略研究[J]. 邹科文,李达,邓婷敏,李嘉振,陈义明. 电脑知识与技术. 2016(07)
[4]Python科学计算包在实验数据处理中的应用[J]. 王振振. 计量技术. 2015 (07)
[5]一种基于MapReduce的短时交通流预测方法[J]. 梁轲,谭建军,李英远. 计算机工程. 2015(01)
[6]智能交通系统综述[J]. 赵娜,袁家斌,徐晗. 计算机科学. 2014(11)
[7]基于MapReduce的多元线性回归预测模型[J]. 代亮,许宏科,陈婷,钱超,梁殿鹏. 计算机应用. 2014(07)
[8]车联网大数据环境下的交通信息服务协同体系[J]. 段宗涛,康军,唐蕾,樊娜,刘研,代记婷. 长安大学学报(自然科学版). 2014(02)
[9]基于MapReduce的K-Medoids并行算法[J]. 张雪萍,龚康莉,赵广才. 计算机应用. 2013(04)
[10]MapReduce并行编程模型研究综述[J]. 李建江,崔健,王聃,严林,黄义双. 电子学报. 2011(11)
博士论文
[1]城市道路网络结构分析及其对交通流的影响研究[D]. 赵玲.中南大学 2013
[2]多状态下城市快速路网交通流短时预测理论与方法研究[D]. 董春娇.北京交通大学 2011
[3]时空路网交通拥堵预测与疏导决策方法研究[D]. 任其亮.西南交通大学 2007
硕士论文
[1]基于Spark云计算平台的城市交通流实时预测技术[D]. 宁洪波.广东工业大学 2018
[2]基于神经网络的城市交通流量预测模型研究[D]. 张佳宁.广东工业大学 2016
[3]基于神经网络模型的短时交通流预测及应用研究[D]. 于亚男.太原理工大学 2015
[4]高速公路长隧道出口段昼间照明优化研究[D]. 林淼.长安大学 2012
[5]短时交通流预测模型及预测方法的研究[D]. 高雅.华东师范大学 2011
本文编号：3300681
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3300681.html
