基于Hadoop的城市道路交通状态判别技术研究

发布时间：2017-10-22 21:03

  本文关键词：基于Hadoop的城市道路交通状态判别技术研究

  更多相关文章： 交通状态判别 Hadoop 大数据 改进FCM 随机森林

【摘要】：随着社会经济的快速发展,城市道路的拥堵问题日益凸显,给城市居民的出行生活带来了极大的困扰。作为智能交通管理系统的重要组成部分,交通状态判别技术可以准确地识别路段的交通状况,为交通参与者提供可靠的诱导信息,从而有效地缓解交通拥堵问题。目前我国大中城市的路网规模极其庞大,每时每刻都在产生着海量的交通数据,传统的单机方法已经无法对其进行有效的处理,因此,本文利用具有强大并行计算能力的Hadoop平台从海量交通数据中挖掘有用的信息来提高交通状态判别的精度。本文以广州市南沙自贸区智能交通管控平台项目为研究背景,对基于Hadoop的城市道路交通状态判别技术进行了深入的研究,主要包括以下几方面:1)详细地介绍了交通大数据,描述了交通数据的获取和预处理技术,阐述了数据挖掘的过程和方法,并具体地分析了Hadoop平台的组成体系。2)详细地分析了交通状态特征指标,选取了流量、速度、占有率这三个特征指标作为交通状态判别方法的输入数据。针对传统FCM算法随机挑选初始聚类中心和没有充分考虑数据对象不同属性贡献差异的缺点,本文采用K-means算法和特征权重的方法对传统FCM算法进行了改进,同时对改进的FCM算法进行了并行化设计,并在Hadoop平台上完成了对海量历史交通数据的聚类分析仿真实验,最后从误判率和加速比两个方面对改进FCM算法进行了评价对比。实验结果显示,改进的FCM算法性能最好。3)根据改进FCM算法得到的已标识状态的历史交通数据,本文采用随机森林算法对当前和未来的交通状态进行判别,首先对随机森林算法进行了并行化设计,同时在Hadoop平台上完成了随机森林算法对交通状态的分类预测仿真实验,并分析了算法的加速比,同时在Hadoop平台上将随机森林算法、Bayes和SVM这三种算法进行了判别准确率的对比,结果显示随机森林算法对交通状态判别的准确率最高,达到91.1%,最后对比分析了随机森林算法在单机和Hadoop平台上的运行时间。4)从框架设计和功能实现两个方面对交通云平台进行了详细的介绍,同时设计了基于Hadoop的交通状态判别系统的建立流程,并从实时路况的显示、未来交通状态的预测、历史交通状态的查询和交通状态的数据分析四个方面对基于Hadoop的交通状态判别技术进行了实际应用的功能展示。
【关键词】：交通状态判别 Hadoop 大数据 改进FCM 随机森林
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U491;TP311.13
【目录】：

• 摘要5-6
• Abstract6-12
• 第一章 绪论12-19
• 1.1 研究背景和意义12-13
• 1.2 国内外研究现状13-16
• 1.2.1 交通状态判别方法研究13-14
• 1.2.2 Hadoop技术研究14-15
• 1.2.3 研究现状综述15-16
• 1.3 研究内容16-17
• 1.4 技术路线和章节安排17-18
• 1.5 本章小结18-19
• 第二章 相关基础理论研究19-32
• 2.1 引言19
• 2.2 交通大数据分析研究19-23
• 2.2.1 大数据定义19-20
• 2.2.2 交通大数据20-21
• 2.2.3 数据获取技术21-22
• 2.2.4 数据预处理技术22-23
• 2.3 数据挖掘技术研究23-25
• 2.3.1 数据挖掘定义23-24
• 2.3.2 数据挖掘方法24-25
• 2.4 Hadoop平台研究25-31
• 2.4.1 Hadoop平台简介25
• 2.4.2 分布式文件系统HDFS25-26
• 2.4.3 分布式计算框架Map Reduce26-29
• 2.4.4 新一代分布式计算框架YARN29-31
• 2.5 本章小结31-32
• 第三章 Hadoop环境下基于改进FCM算法的交通数据聚类分析研究32-60
• 3.1 引言32-33
• 3.2 交通状态特征指标体系研究33-38
• 3.2.1 交通状态的划分标准33-34
• 3.2.2 特征指标分析研究34-36
• 3.2.3 特征指标选取原则36
• 3.2.4 特征指标确定方案36-38
• 3.3 FCM聚类算法38-41
• 3.3.1 FCM算法模型38-39
• 3.3.2 FCM算法流程39-40
• 3.3.3 算法的参数标定40-41
• 3.3.4 FCM算法的不足41
• 3.4 基于K-means和特征加权的改进FCM算法研究41-48
• 3.4.1 K-means聚类算法42-44
• 3.4.2 特征加权方法44-45
• 3.4.3 改进FCM算法模型45-46
• 3.4.4 基于YARN的改进FCM算法并行化设计46-48
• 3.5 实验分析48-59
• 3.5.1 交通数据来源48-50
• 3.5.2 数据预处理50
• 3.5.3 实验环境的搭建50-53
• 3.5.4 算法评价指标53-54
• 3.5.5 算法参数取值分析54-56
• 3.5.6 算法评价分析56-59
• 3.6 本章小结59-60
• 第四章 Hadoop环境下基于随机森林的交通状态判别方法研究60-74
• 4.1 引言60-61
• 4.2 决策树算法61-63
• 4.2.1 决策树简介61-62
• 4.2.2 决策树的节点分裂准则62-63
• 4.2.3 决策树的不足63
• 4.3 随机森林算法63-67
• 4.3.1 随机森林简介63-64
• 4.3.2 随机森林的算法模型64-65
• 4.3.3 随机森林的性能分析65-67
• 4.4 基于YARN的随机森林算法并行化设计67-68
• 4.4.1 随机森林建树并行化设计67-68
• 4.4.2 随机森林预测并行化设计68
• 4.5 实验分析68-72
• 4.5.1 数据预处理68-69
• 4.5.2 实验环境69-70
• 4.5.3 算法的准确率对比分析70-71
• 4.5.4 算法的加速比分析71-72
• 4.5.5 单机与Hadoop的运行时间对比72
• 4.6 本章小结72-74
• 第五章 基于Hadoop的交通状态判别系统设计与应用74-83
• 5.1 引言74
• 5.2 交通云平台的设计与实现74-78
• 5.2.1 框架设计74-78
• 5.2.2 功能实现78
• 5.3 基于Hadoop的交通状态判别系统设计78-79
• 5.4 基于Hadoop的交通状态判别系统应用79-82
• 5.5 本章小结82-83
• 结论和展望83-85
• 工作总结83-84
• 研究展望84-85
• 参考文献85-90
• 攻读硕士学位期间取得的研究成果90-91
• 致谢91-92
• 附件92

【相似文献】

中国期刊全文数据库 前10条

1 王丽婷;丁晓青;方驰;;基于随机森林的人脸关键点精确定位方法[J];清华大学学报(自然科学版);2009年04期

2 康有;陈元芳;顾圣华;姚欣明;黄琴;汤艳平;;基于随机森林的区域水资源可持续利用评价[J];水电能源科学;2014年03期

3 邱一卉;林成德;;基于随机森林方法的异常样本检测方法[J];福建工程学院学报;2007年04期

4 马昕;王雪;杨洋;;基于随机森林算法的大学生异动情况的预测[J];江苏科技大学学报(自然科学版);2012年01期

5 刘美菊;刘冬;刘剑;;随机森林在群控电梯交通模式识别中的应用[J];机械设计与制造;2013年04期

6 姚登举;杨静;詹晓娟;;基于随机森林的特征选择算法[J];吉林大学学报(工学版);2014年01期

7 张晔;杨国田;;基于随机森林的数据融合架空输电线路铁塔损伤识别[J];黑龙江科技信息;2014年20期

8 吕淑婷;张启敏;;一类带Poisson跳的随机森林发展系统数值解的稳定性[J];兰州理工大学学报;2012年03期

9 陈海利;孙志伟;庞龙;;基于随机森林的文本分类研究[J];科技创新与应用;2014年02期

10 庄进发;罗键;彭彦卿;黄春庆;吴长庆;;基于改进随机森林的故障诊断方法研究[J];计算机集成制造系统;2009年04期

中国重要会议论文全文数据库 前7条

1 谢程利;王金桥;卢汉清;;核森林及其在目标检测中的应用[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

2 武晓岩;方庆伟;;基因表达数据分析的随机森林方法及算法改进[A];黑龙江省第十次统计科学讨论会论文集[C];2008年

3 张天龙;梁龙;王康;李华;;随机森林结合激光诱导击穿光谱技术用于的钢铁分类[A];中国化学会第29届学术年会摘要集——第19分会：化学信息学与化学计量学[C];2014年

4 相玉红;张卓勇;;组蛋白去乙酰化酶抑制剂的构效关系研究[A];第十一届全国计算（机）化学学术会议论文摘要集[C];2011年

5 张涛;李贞子;武晓岩;李康;;随机森林回归分析方法及在代谢组学中的应用[A];2011年中国卫生统计学年会会议论文集[C];2011年

6 冯飞翔;冯辅周;江鹏程;刘菁;刘建敏;;随机森林和k-近邻法在某型坦克变速箱状态识别中的应用[A];第八届全国转子动力学学术讨论会论文集[C];2008年

7 曹东升;许青松;梁逸曾;陈宪;李洪东;;组合树的集合体和后向消除策略去分类P-糖蛋白化合物[A];第十届全国计算(机)化学学术会议论文摘要集[C];2009年

中国博士学位论文全文数据库 前4条

1 曹正凤;随机森林算法优化研究[D];首都经济贸易大学;2014年

2 雷震;随机森林及其在遥感影像处理中应用研究[D];上海交通大学;2012年

3 岳明;基于随机森林和规则集成法的酒类市场预测与发展战略[D];天津大学;2008年

4 李书艳;单点氨基酸多态性与疾病相关关系的预测及其机制研究[D];兰州大学;2010年

中国硕士学位论文全文数据库 前10条

1 钱维;药品不良反应监测中随机森林方法的建立与实现[D];第二军医大学;2012年

2 韩燕龙;基于随机森林的指数化投资组合构建研究[D];华南理工大学;2015年

3 贺捷;随机森林在文本分类中的应用[D];华南理工大学;2015年

4 张文婷;交通环境下基于改进霍夫森林的目标检测与跟踪[D];华南理工大学;2015年

5 李强;基于多视角特征融合与随机森林的蛋白质结晶预测[D];南京理工大学;2015年

6 朱玟谦;一种收敛性随机森林在人脸检测中的应用研究[D];武汉理工大学;2015年

7 肖宇;基于序列图像的手势检测与识别算法研究[D];电子科技大学;2014年

8 李慧;一种改进的随机森林并行分类方法在运营商大数据的应用[D];电子科技大学;2015年

9 赵亚红;面向多类标分类的随机森林算法研究[D];哈尔滨工业大学;2014年

10 黎成;基于随机森林和ReliefF的致病SNP识别方法[D];西安电子科技大学;2014年

，

本文编号：1080055