基于Spark平台的短时交通流预测研究

发布时间：2017-08-14 03:34

  本文关键词：基于Spark平台的短时交通流预测研究

  更多相关文章： 短时交通流预测 海量数据处理 时空特性 Spark KNN算法

【摘要】：随着城市汽车数量的急剧增加,城市的交通拥堵问题日益严重,严重影响了人们的日常生活。实时、准确的交通流预测可以为交通的管理和疏导提供依据,从而有效的解决城市的交通拥堵问题。交通流预测是通过对来自数据采集设备的交通流数据进行挖掘,找到交通流变化的内在规律,从而预测出各路段下一时刻的交通流状况。而随着数据采集技术的发展和数据采集设备的广泛应用,城市每天产生的交通数据量急剧增加,如何对海量的交通数据进行有效的处理、分析成为近年来的研究热点。传统的基于单台物理机的数据处理模式,由于受到内存、磁盘、CPU等因素的限制,无法满足对海量数据的存储和处理需求。为了解决单机环境在处理海量数据时处理能力的性能瓶颈,本文利用大数据计算框架在处理海量数据上的优势,提出了一种基于Spark分布式计算平台的短时交通流量预测方法,该方法在保证预测精度的基础上,有效的提高了算法的计算效率,增强了预测算法的实用性。本文的主要工作如下:1、利用交通流的时空特性,提出了一种基于时空关系的交通流特征向量生成方法,实验结果表明,基于时空关系的K近邻(KNN)预测模型的预测精度明显好于基于时间关系的KNN预测模型。2、针对单机环境下处理海量数据时存在的计算性能低、扩展性能差等问题,提出了在Spark平台上对传统KNN算法并行化实现的方法,该方法有效的解决了KNN算法近邻查找过程中搜索历史数据库效率过低的问题,提高了KNN算法的计算效率,改善了KNN算法的实用性。3、选取美国加州PeMS系统的实际交通流数据作为实验数据,以均方根误差、加速比等作为评价指标,在由多个节点组成的分布式集群中对交通流量进行预测仿真,并对算法的预测精度和预测时间进行比较。实验结果表明,基于Spark平台的短时交通流预测,可以在保证预测精度的前提下,满足对海量交通数据的实时处理要求,并且系统具有良好的扩展性和加速比。
【关键词】：短时交通流预测 海量数据处理 时空特性 Spark KNN算法
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U491.14;TP311.13
【目录】：

• 摘要5-6
• Abstract6-10
• 第一章 绪论10-17
• 1.1 选题背景及研究意义10-12
• 1.2 短时交通流预测简介12-15
• 1.2.1 短时交通流预测概述12-13
• 1.2.2 短时交通流预测研究现状13-15
• 1.3 本文研究内容及章节安排15-17
• 第二章 交通流预测相关理论17-28
• 2.1 交通流预测概述17-22
• 2.1.1 交通流预测基本参数18-19
• 2.1.2 交通数据的特点19-20
• 2.1.3 数据预处理方法20-21
• 2.1.4 实验数据准备21-22
• 2.2 KNN算法22-27
• 2.2.1 最近邻K值23-24
• 2.2.2 样本相似度计算24-25
• 2.2.3 基于时空特性的KNN算法25-27
• 2.3 本章小结27-28
• 第三章 Spark计算平台28-39
• 3.1 Spark简介28-29
• 3.2 Spark的组织架构29-32
• 3.3 RDD简介32-34
• 3.4 Spark基本工作流程34-36
• 3.5 Spark的运行模式36-38
• 3.6 本章小结38-39
• 第四章 基于Spark的KNN算法并行研究与实现39-60
• 4.1 算法的并行化39-41
• 4.1.1 数据并行化39-40
• 4.1.2 任务并行化40-41
• 4.2 KNN算法的Spark并行化设计41-43
• 4.3 KNN算法的Spark并行化实现43-46
• 4.3.1 KNN算法数据并行的Spark实现43-45
• 4.3.2 KNN算法任务并行的Spark实现45-46
• 4.4 实验平台及平台搭建46-48
• 4.4.1 实验平台46-47
• 4.4.2 平台搭建47-48
• 4.5 实验结果及分析48-59
• 4.5.1 预测精度48-54
• 4.5.2 预测时间54-59
• 4.6 本章小结59-60
• 总结与展望60-62
• 参考文献62-67
• 攻读硕士学位期间取得的研究成果67-68
• 致谢68-69
• 附件69

【相似文献】

中国期刊全文数据库 前10条

1 偶昌宝,俞亚南;短时交通流预测的多层递阶方法[J];城市道桥与防洪;2004年05期

2 高丽梅;高鹏;陈俊波;;数据融合技术在短时交通流预测中的应用[J];交通科技;2010年S1期

3 唐世星;;改进的支持向量机算法在短时交通流预测中的应用[J];承德石油高等专科学校学报;2012年01期

4 王娇;李军;;最小最大概率回归机在短时交通流预测中的应用[J];公路交通科技;2014年02期

5 贺国光,李宇,马寿峰;基于数学模型的短时交通流预测方法探讨[J];系统工程理论与实践;2000年12期

6 宗春光,宋靖雁,任江涛,胡坚明;基于相空间重构的短时交通流预测研究[J];公路交通科技;2003年04期

7 杨世坚,贺国光;基于模糊C均值聚类和神经网络的短时交通流预测方法[J];系统工程;2004年08期

8 王进;史其信;;短时交通流预测模型综述[J];中国公共安全(学术卷);2005年01期

9 杨芳明;朱顺应;;基于小波的短时交通流预测[J];重庆交通学院学报;2006年03期

10 邓志龙;李全;陈茜;;基于灰色系统理论的短时交通流预测[J];公路交通技术;2006年01期

中国重要会议论文全文数据库 前4条

1 郑德署;何世伟;许旺土;;分形理论在短时交通流预测中的应用[A];2008第四届中国智能交通年会论文集[C];2008年

2 唐丽娜;张卫华;;短时交通流预测方法的比较研究[A];2007第三届中国智能交通年会论文集[C];2007年

3 于建玲;商朋见;关积珍;;改进的相空间重构方法在短时交通流预测中的应用[A];2008第四届中国智能交通年会论文集[C];2008年

4 杨锦伟;肖新平;郭金海;;基于灰关联与少数据云推理的短时交通流预测[A];第25届全国灰色系统会议论文集[C];2014年

中国博士学位论文全文数据库 前1条

1 姚智胜;基于实时数据的道路网短时交通流预测理论与方法研究[D];北京交通大学;2007年

中国硕士学位论文全文数据库 前10条

1 高为;基于数据挖掘和数据融合的短时交通流预测研究[D];重庆交通大学;2011年

2 杨慧慧;城市交通流短时预测模型研究[D];河南理工大学;2015年

3 王鹏;基于嵌入式系统的城市智能交通控制器研究[D];辽宁科技大学;2016年

4 罗婷;模拟退火混沌粒子群算法在短时交通流预测中的应用[D];西南交通大学;2016年

5 黄晓慧;基于布谷鸟算法的小波神经网络短时交通流预测研究[D];西南交通大学;2016年

6 褚鹏宇;融合时空信息的短时交通流预测[D];西南交通大学;2016年

7 王腾辉;基于Spark平台的短时交通流预测研究[D];华南理工大学;2016年

8 吴凡;基于短时交通流预测的城市区域交通信号控制研究[D];南京理工大学;2016年

9 江德浩;基于深度信念网络的短时交通流预测[D];湖南师范大学;2016年

10 尹振兴;“机理+辨识”策略在短时交通流预测中多种结果合成[D];天津大学;2008年

，

本文编号：670590