基于Spark云计算平台的城市交通流实时预测技术

发布时间：2020-03-19 13:46

【摘要】：实时准确的交通流预测是交通系统能够高效运行的重要保障,不仅为交通控制和诱导提供依据,更是交通智能化和自动化发展的重要基础。目前,随着数据获取越来越便捷,基于数据驱动的智能模型精度越来越高,其中,支持向量机模型和神经网络模型由于具备较强的非线性映射能力和良好的自适应学习能力等优点,因此被广泛地应用于交通流的预测研究。然而,数据量和数据维度的增多,导致智能模型在精度提高的同时,模型的复杂度和训练时间指数级增加,甚至难以收敛。而且,传统的数据管理模式在面对海量数据的存储和处理时效率低下,难以满足预测系统对实时性和动态扩展性的需求。因此研究利用大数据技术实现海量数据的高效采集、存储、处理和分析,具有非常重要的现实意义和应用价值。本文旨在研究基于Spark云计算框架的城市交通流实时预测技术。Spark是基于分布式的理念,面向大规模数据存储和处理需求应运而生的一种集群系统。它具有良好的扩展性和容错性。通过对主流云计算框架Spark的研究,本文设计了基于Spark的分布式支持向量机预测模型和分布式神经网络预测模型。并提出完整的包含数据采集,数据存储,模型训练以及实时预测的交通大数据处理框架。具体工作如下所示:(1)通过分析城市交通流的时空变化特性和天气影响因素,考虑将目标路段的上下游流量数据以及实时降水数据作为变量引入特征矩阵中,扩展特征变量的维度信息。(2)设计基于Spark集群的分布式支持向量机算法和分布式的神经网络算法。以及利用Spark Streaming技术实现目标路段下一时段交通流的实时预测。(3)通过将Kafka分布式消息订阅系统、HDFS分布式文件系统、Spark分布式计算引擎、Spark Streaming流式处理技术、Zookeeper分布式协调系统等大数据工具进行集成,提出了一套适合城市交通流从数据采集到存储、到模型训练再到结果实时输出的大数据解决方案。(4)选取广州市2016年线圈检测器的数据,以MAE、RMSE、预测时间、加速比等作为评价指标,通过对分布式算法与单机算法(包括KNN(k-Nearest Neighbors)、GTB(Gradient Tree Boosting)、KRR(Kernel Ridge Regression)、单机SVR、单机神经网络)以及基于深度学习框架Keras的神经网络算法共8种算法进行多组实验的性能对比,验证了以下结论:基于时空关系所构造的特征变量预测效果要优于单一的时间维度特征;基于分布式集群所训练出的模型在预测精度与单机相差不大的情况下,实时性和可扩展要远远优于单机系统;降雨量数据对模型的预测效果影响较小,因此在构造特征变量时可以忽略。
【图文】：

模式图,工作日,流量变化,模式

第二章交通流特点及数据预处理市交通流的特点交通系统是一个由人、车、路、环境等组成的协同系统。极端天气、突的驾驶习惯、交通管控措施等外界因素都会对系统的稳定性带来非常大在变化中也蕴含着某些可以捕捉到的规律性特征。以下分别从周期性、匀性、空间相关性四个方面对城市交通流的变化特点进行分析。期性和相似性

交通流量,流量变化,模式,时段

图 2-3 春节期间流量变化情况Fig 2-3 Traffic changes during the Spring Festival 2-3 春节期间的流量变化情况和图 2-2 工作日的流量变化进行对比，可的交通流量要明显低于非节假日。这是因为春节期间，大量的外来务工从广州返回老家过年，因此导致春节期间的交通流量明显低于非节假日对比，，工作日的流量变化模式相对周末与节假日来说存在着明显的模式规变化趋势中可以看出：每一时段的交通流量与它前一时段的流量存在着。这些规律和模式是我们能够对此进行预测的前提。
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：U491.14

【参考文献】