基于云架构的交通流量数据分析平台

发布时间：2017-04-20 18:12

  本文关键词：基于云架构的交通流量数据分析平台，，由笔耕文化传播整理发布。

【摘要】：城市交通的快速发展,交通流量数据每天以PB级或者更高的数量级增加,如何高效地存储这些数据并从中挖掘出业务价值成为本文研究的关键,Hadoop作为大数据的处理工具脱颖而出,成为大数据时代处理海量数据的主流平台之一。本文使用大数据平台分析交通数据,做了以下几个方面的工作:1.研究交通流量数据,根据业务需求设计了三个应用:“指定车子是否被套牌”、“指定车子是否被跟踪”以及“两点之间的最优路径”;2.结合Hadoop2.2.0版本的分布式平台,设计上述应用的算法,并通过Map/Reduce实现出来,包括存储分布和计算分布;3.针对实时性强的应用采用Twitter公司的Storm流式处理平台,设计应用的算法,并用java设计topology;4.搭建集群和实验平台,进行实验分析,结果表明基于Hadoop以及Storm的交通流量数据分析平台具有高效的存储和计算能力,验证了该平台的可行性;
【关键词】：大数据 Hadoop Storm 分布式计算 MapReduce
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TP393.09
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-12
• 1.1 课题背景及意义8-9
• 1.1.1 数据的重要性8
• 1.1.2 如何对数据进行处理8-9
• 1.2 国内外研究状况9-10
• 1.2.1 国内研究现状9-10
• 1.2.2 国外研究现状10
• 1.3 本文的主要工作10-11
• 1.4 本文的组织结构11-12
• 第二章 相关技术基础12-23
• 2.1 Hadoop概述12-19
• 2.1.1 HDFS系统架构12-16
• 2.1.2 HDFS的故障容错16-17
• 2.1.3 Map/Reduce介绍17-19
• 2.2 Storm概述19-22
• 2.2.1 Zookeeper简介19-20
• 2.2.2 Storm架构20-22
• 2.3 本章小结22-23
• 第三章 交通流量数据分析平台的需求分析与设计23-42
• 3.1 系统需求分析23-25
• 3.1.1 系统可行性分析23-24
• 3.1.2 系统性能需求24-25
• 3.1.3 系统功能需求25
• 3.2 系统整体设计25-41
• 3.2.1 Hadoop集群资源层的设计27-29
• 3.2.2 Hadoop参数配置29-31
• 3.2.3 分布式文件存储层的设计31-35
• 3.2.4 业务逻辑层的设计35-39
• 3.2.5 用户请求接口层的设计39-41
• 3.3 本章小结41-42
• 第四章 交通流量数据分析平台的实现42-62
• 4.1 分布式文件存储层的实现42-44
• 4.2 业务逻辑层的实现44-53
• 4.3 用户请求接口层的实现53-55
• 4.4 对指定车牌是否被套牌应用的实时处理55-61
• 4.4.1 Storm的应用场景分析56
• 4.4.2 整体设计方案56-57
• 4.4.3 Topology的设计与实现57-60
• 4.4.4 数据库部分的设计与实现60-61
• 4.5 本章小结61-62
• 第五章 实验结果和分析62-70
• 5.1 实验环境62-63
• 5.1.1 硬件准备62
• 5.1.2 软件准备62-63
• 5.2 实验与分析63-68
• 5.2.1 基于Hadoop平台的实验分析63-66
• 5.2.2 基于Storm平台的实验分析66-68
• 5.3 本章小结68-70
• 第六章 总结与展望70-72
• 6.1 总结70-71
• 6.2 展望71-72
• 参考文献72-74
• 附录1 攻读硕士学位期间参加的科研项目74-75
• 致谢75

【相似文献】

中国期刊全文数据库 前10条

1 师鸣若;姜中华;申贵成;;基于流量数据的分层态势评估算法[J];微计算机信息;2008年30期

2 白杨;周晓洁;孙恩昌;孙艳华;张延华;;NetFlow流量数据的压缩存储与多维度聚合[J];中国电子科学研究院学报;2009年04期

3 汲锡林;肖刚;王建新;;网管测试平台中流量数据的生成算法[J];吉林大学学报(信息科学版);2007年06期

4 张校辉;曾威;兰巨龙;;一种生成符合网络实际特性的仿真流量方法[J];信息工程大学学报;2009年02期

5 王翔;邵靖;王大庆;;交通车流量数据的数据库存储及应用[J];贵州大学学报(自然科学版);2009年05期

6 吴丹;;基于最短可达路径和历史流量数据的电网网络优化技术[J];现代计算机;2013年09期

7 夏莹莹;汪雄海;;基于流量数据的城市污水协调调度排放控制系统[J];电工技术学报;2011年12期

8 孙修东,徐立新,张彦峰;一种基于IP流量数据的计费系统的实现[J];河南机电高等专科学校学报;2001年04期

9 冯传滨;;小流量数据业务与3G视频监控融合剖析[J];电信技术;2013年02期

10 王安华;王娟;万海军;;基于GSM短消息传输小流量数据的设计[J];自动化技术与应用;2008年01期

中国重要会议论文全文数据库 前2条

1 韦达利;陈锋;卞凯;令狐彬;;基于数据融合的交通流量数据在线校正[A];2009年中国智能自动化会议论文集（第六分册）[中南大学学报（增刊）][C];2009年

2 陈循;;具有N条支流的河网系统2N参数线性模型[A];全国青年管理科学与系统科学论文集（第1卷）[C];1991年

中国重要报纸全文数据库 前2条

1 任香玫;自己装个网络计价器[N];中国计算机报;2004年

2 ;IP网管简约之路[N];网络世界;2003年

中国博士学位论文全文数据库 前1条

1 刘珍;因特网流量类不平衡特性与分类方法的研究[D];华南理工大学;2013年

中国硕士学位论文全文数据库 前5条

1 李成露;基于云架构的交通流量数据分析平台[D];南京邮电大学;2015年

2 关卿;分布式网络流量数据分析与管理技术研究与实现[D];国防科学技术大学;2008年

3 徐珊;流量数据时间机系统的改进研究[D];湖南大学;2011年

4 李瑞丽;利用流量数据对访问者行为演变过程的建模研究[D];上海海事大学;2005年

5 张忠琳;网络质量探测应用的研究[D];北京邮电大学;2015年

  本文关键词：基于云架构的交通流量数据分析平台，由笔耕文化传播整理发布。

本文编号：319250