基于Hadoop的面向海量交通流数据分析与利用

发布时间：2017-09-30 02:34

  本文关键词：基于Hadoop的面向海量交通流数据分析与利用

  更多相关文章： 交通流数据 数据挖掘 Hadoop 伴随车 浮动车聚集

【摘要】：近年来,随着城市机动车保有量的持续增长,交通违章和违法行为越来越多,如多辆车结伴作案、出租车罢工罢运、酒驾等,对城市安全带来了巨大隐患。如何快速识别以上交通行为模式对公安、交警主动预警和事后侦查具有重要意义。此外,针对日益增长的海量交通流数据,传统的处理方法在存储空间和计算效率上已经不能满足用户的应用需求。因此本文重点研究“多车频繁结伴——本文称之为伴随”和“出租车罢工罢运——本文称之为浮动车聚集”两种交通行为模式,并提出了面向交通流时空大数据的伴随模式高效挖掘算法和基于HBase的浮动车聚集模式实时监测算法,然后在此基础上构建基于Hadoop的面向海量交通数据的分析和处理平台。本文在如下方面进行了较为有益的探索:(1)通过对海量卡口过车数据的分析和面向海量交通流数据的伴随车行为模式的研究,首先给出了频繁项集相关概念在伴随车挖掘中的新定义,并在此基础上提出了基于MapReduce的时空大数据频繁项集挖掘算法FSST,实验证明该算法在准确性、执行时间和内存使用等方面优于传统的Apriori和Sequence-Growth算法,最后提出了伴随车的嫌疑度计算方法用于计算伴随车嫌疑大小。(2)根据浮动车聚集行为模式的特征,定义了浮动车聚集行为模式,同时参考基于网格的聚类算法和HBase的数据模型,提出了基于HBase的全天候全域浮动车聚集实时监测算法,定时执行该算法,在真实的、海量交通数据上的实验证明该算法监测浮动车聚集的有效性。(3)实现了上述研究内容的基于Hadoop的交通大数据分析平台,主要包括大数据平台、后台应用程序和前台展示。由于平台超强的计算和存储能力,加上良好的扩展性,后续的交通分析都可以集成到该平台上。
【关键词】：交通流数据 数据挖掘 Hadoop 伴随车 浮动车聚集
【学位授予单位】：杭州电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U491.112;TP311.13
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 绪论10-16
• 1.1 课题研究背景及意义10-11
• 1.2 国内外研究现状11-14
• 1.2.1 面向交通流数据分析的伴随车行为和浮动车聚集行为研究现状12-13
• 1.2.2 Hadoop技术在交通流数据分析中的应用研究现状13-14
• 1.3 本文研究内容14-15
• 1.4 本文组织结构15-16
• 第二章 基于Hadoop的海量交通流分析相关技术16-27
• 2.1 面向交通流分析的伴随车行为模式挖掘相关算法16-17
• 2.2 面向交通流分析的浮动车聚集行为模式挖掘相关算法17-18
• 2.3 构建基于Hadoop生态系统的交通流数据分析平台18-24
• 2.3.1 Hadoop生态系统18-20
• 2.3.2 Hadoop框架研究20-22
• 2.3.3 HBase分布式数据库研究22-23
• 2.3.4 Spark框架研究23-24
• 2.4 交通流数据预处理24-26
• 2.4.1 卡口过车数据预处理24-25
• 2.4.2 浮动车数据预处理25-26
• 2.5 本章小结26-27
• 第三章 面向海量交通流数据的伴随车行为模式研究27-40
• 3.1 问题描述27-28
• 3.2 伴随车行为模式定义28-29
• 3.3 伴随车行为模式挖掘29-33
• 3.3.1 基本思想29-31
• 3.3.2 应用举例31-32
• 3.3.3 伴随嫌疑度32-33
• 3.4 实验结果与讨论33-39
• 3.4.1 相关类实现33-35
• 3.4.2 实验结果描述35-36
• 3.4.3 实验结果讨论36-39
• 3.5 本章小结39-40
• 第四章 面向海量交通流数据的浮动车聚集行为模式研究40-50
• 4.1 问题描述40
• 4.2 浮动车聚集行为模式定义40-41
• 4.3 浮动车聚集行为模式实时监测算法41-47
• 4.3.1 网格模型41-42
• 4.3.2 定时执行42-43
• 4.3.3 历史阈值43-44
• 4.3.4 聚集结果表44-45
• 4.3.5 具体步骤45-47
• 4.4 实验结果与讨论47-49
• 4.4.1 实验环境配置47-48
• 4.4.2 实验结果讨论48-49
• 4.5 本章小结49-50
• 第五章 基于Hadoop的交通大数据分析平台50-59
• 5.1 大数据平台搭建50-55
• 5.1.1 基础环境搭建50-51
• 5.1.2 安装Hadoop51-53
• 5.1.3 安装HBase53-54
• 5.1.4 安装Spark54-55
• 5.2 基于Hadoop的交通大数据分析平台实现55-58
• 5.2.1 平台架构55-56
• 5.2.2 平台实现56-58
• 5.3 本章小结58-59
• 第六章 总结与展望59-61
• 6.1 本文工作总结59-60
• 6.2 未来展望60-61
• 致谢61-62
• 参考文献62-67
• 附录67-68
• 详细摘要68-70

【相似文献】

中国期刊全文数据库 前10条

1 胡明伟,缪立新,王耘非;北京市交通流数据采集、处理/分析和信息发布系统设计[J];公路交通科技;2003年02期

2 朱雷雷;张韦华;聂庆慧;;干线公路交通流数据有效性检验规则[J];东南大学学报(自然科学版);2011年01期

3 王方;李华;杜金玲;;无检测器道路交通流数据质量检测方法[J];计算机工程;2014年03期

4 张亚平,裴玉龙;交通流数据采集、处理及其在通行能力分析中的应用研究[J];东北公路;2003年01期

5 黄薇;胡永举;程正;;基于声强的交通流数据采集与状态分析[J];交通科技与经济;2010年04期

6 赵跃伟;;交通流数据的采集及基于Kalman滤波的处理应用[J];中国科技信息;2007年22期

7 孙亚;朱鲤;;ITS检测器交通流数据质量控制系统研究[J];测控技术;2008年07期

8 郭敏;蓝金辉;李娟娟;林宗术;孙新荣;;基于灰色残差GM(1,N)模型的交通流数据恢复算法[J];交通运输系统工程与信息;2012年01期

9 郑长江;路源;;基于支持向量机的城市道路交通拥堵判别算法研究[J];贵州大学学报(自然科学版);2014年01期

10 郑滨;陈锦标;夏少生;金永兴;;基于数据挖掘的海上交通流数据特征分析[J];中国航海;2009年01期

中国重要会议论文全文数据库 前3条

1 胡伟超;刘君丛;浩哲;肖鹏飞;;实时交通流数据缺失修复方法对比研究[A];第八届中国智能交通年会论文集[C];2013年

2 张亚平;裴玉龙;周刚;;交通流数据采集、处理及其在通行能力分析中的应用研究[A];土木工程与高新技术——中国土木工程学会第十届年会论文集[C];2002年

3 赵慧;于雷;陈旭梅;耿彦斌;;ITS实时交通流数据质量控制方法研究与案例分析[A];第一届中国智能交通年会论文集[C];2005年

中国博士学位论文全文数据库 前1条

1 丁男;基于WSN的实时动态交通流数据获取相关技术研究[D];大连理工大学;2011年

中国硕士学位论文全文数据库 前10条

1 陆婷;基于HBase的交通流数据实时存储系统的设计与实现[D];北方工业大学;2016年

2 刘梦依;基于时空相关性的高速公路交通流故障数据修复方法研究[D];吉林大学;2016年

3 朱刘江;基于Hadoop的海量城市交通流数据分布式存储与分析研究[D];扬州大学;2015年

4 方炜;基于Hadoop的面向海量交通流数据分析与利用[D];杭州电子科技大学;2016年

5 金逸文;城市快速路交通流数据修复方法研究[D];上海交通大学;2008年

6 吴芳;交通流数据清洗的关键理论及方法研究[D];山东理工大学;2009年

7 蒲桦隆;基于Qt/E的实时交通流数据显示系统的研究[D];云南大学;2015年

8 洪智兵;基于GPRS的实时交通流数据接发系统的研究[D];云南大学;2015年

9 马韵楠;基于模糊综合评价的道路交通流数据质量评价研究[D];北京交通大学;2015年

10 张旭;面向交通运行状态评价的多源异质交通流数据融合技术方法研究[D];北京交通大学;2008年

，

本文编号：945699