基于Ambari的智慧交通大数据智能监控系统设计与实现

发布时间：2021-08-08 08:10

　　随着国民经济的飞速发展以及城镇化进程的持续提高,我国机动车数量呈指数型增长。汽车保有量急速增长,高速公路的利用率越来越高,与之而来的交通拥堵、交通事故以及高速公路逃费事件等日益频发,如何基于大数据技术对交通出行效率和安全性进行提升是一个极具应用价值的研究课题。交通大数据存在数据多源异构、类型复杂以及对实时性要求高等特点,传统的单中心型关系数据库技术处理方式已无法满足现阶段的难以满足应用需求,基于此,本课题基于Ambari技术研发智慧交通大数据监控平台,提高智慧交通监管能力和交通大数据资源利用率。首先,深入分析智慧交通中大数据应用现状及所面临的主要问题,梳理了拟建设平台的功能构成;然后,针对交通大数据结构复杂、数据量大且实时性要求高等特点,结合交通大数据采集、清洗、分类、存储和加工等应用场景需求,设计了智慧交通大数据监控平台的总体架构和数据库模型;接下来,基于Ambari技术实现了智慧交通大数据智能监控系统,对交通大数据进行高效汇聚和智能分析,通过大数据可视化的管理、监控界面展示大数据平台的运行状况,有效提升智慧交通监控水平和对异常交通行为的识别能力;最后,结合实际应用场景对系统功能进行... 

【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校

【文章页数】：83 页

【学位级别】：硕士

【部分图文】：

主要技术点图

工程硕士学位论文图2.2Spark核心模块图2.2.5YARNApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop通用资源管理系统，不同于其它的是它可以为上层的应用提供统一的资源管理和调度服务功能，YARN的引入为集群管理提供了很大的便捷，特别是在集群利用率、资源统一管理和数据共享等方面尤为突出。2.2.6HDFSHadoop分布式文件系统是一个被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。HDFS相比其他分布式文件具有高度容错性能，而且适合部署在廉价的机器上。另外，HDFS能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用，这也为交通数据的不断增长后处理奠定了良好的基矗2.2.7HiveHive是基于Hadoop的一个数据仓库工具，其主要功能是可以提供将结构化的数据文件映射为一张数据库表服务，并且支持一些简单的SQL查询功能，另外，还可以将SQL语句转换为MapReduce任务进行运行，十分适合数据仓库的统计分析，为系统统计存储数据提供了有力的支持。2.2.8MapReduceMapReduce主要用于较大数据集的并行运算，其主要思想是从函数式编程语言借鉴过来的“映射“和“规约”，使用MapReduce编程工具，可以极大方便程序运行在分布式系统。简单来讲就是指定一个Map（映射）函数，把原有的一组键值对映射成一组新的键值对，并指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。2.2.9Ambari11

SSO单点登录

【参考文献】：
期刊论文
[1]智慧交通大数据研究与实践——以武汉智能公交系统例[J]. 宋虎刚,官小燕,周梓旋,吴英英.  电脑知识与技术. 2018(13)
[2]物联网下的智慧交通大数据挖掘系统探析[J]. 张永鹏,甘庆华.  数字技术与应用. 2018(04)
[3]“互联网+”背景下的智慧交通大数据应用创新研究[J]. 黄兴.  居舍. 2018(08)
[4]关于大数据挖掘分析的智慧交通服务系统探究[J]. 曲程.  科技创新导报. 2017(10)
[5]智慧交通背景下大数据应用面临的挑战与对策研究[J]. 马靖霖.  内蒙古科技与经济. 2017(02)
[6]基于物联网的智慧交通大数据挖掘系统[J]. 潘俊方,樊阿娇,茹艳,李永祥.  无线互联科技. 2016(05)
[7]“互联网+”背景下的智慧交通大数据应用创新研究[J]. 贾亚朝,唐贤芳,张如.  现代经济信息. 2016(05)
[8]近五年国内智慧交通研究综述[J]. 李艳平.  中国高新技术企业. 2016(07)
[9]Hadoop集群部署实验的设计与实现[J]. 孟永伟,黄建强,曹腾飞,王晓英.  实验技术与管理. 2015(01)
[10]大数据方法对于缓解城市交通拥堵的作用的理论分析[J]. 赵鹏军,李铠.  现代城市研究. 2014(10)

硕士论文
[1]绵阳智慧交通大数据应用服务问题与对策研究[D]. 王玉晶.电子科技大学 2018



本文编号：3329576