基于大数据技术的车辆监控系统的优化与实现

发布时间：2017-05-26 14:12

  本文关键词：基于大数据技术的车辆监控系统的优化与实现，，由笔耕文化传播整理发布。

【摘要】：随着互联网的飞速发展和“互联网+”热潮的推动,传统行业逐渐向信息化方向靠拢,这已成为传统行业中的重要战略布局,使得互联网信息化在全球范围内的数据迅速增长,数据种类也越来越丰富。近年来随着人们生活水平的提高,汽车已成主要的交通工具,汽车的销量逐年上升,导致车辆所产生的数据也随之不断增长。目前的车辆监控系统中由车载终端上传的数据大部分以传统的关系型数据库模式存储,传统的关系型数据库在存储数据量到达一定规模后查询效率将会大幅度下降,对系统的整体性能产生巨大的影响,因此大数据量的问题已成为目前车辆监控系统中的主要性能瓶颈。本文将介绍几种大数据处理技术并加以运用,包括Spark分布式计算框架,Hbase数据库,Kafka消息队列,Redis缓存服务器。充分利用这几项技术的优势,对目前的车辆监控系统进行优化,采用Kafka作为车载终端和监控平台的数据桥梁,车载终端服务采集车辆信息上传到Kafka,Spark从Kafka接收上传的数据进行并行处理和计算,计算过程中需要的配置信息从Redis中读取,最后将计算的结果中临时数据缓存到Redis中、离线数据存放在Hbase中,供监控平台使用;在线数据发送到Kafka中,供上级(政府)平台使用。通过采用以上技术对车辆监控系统优化后,系统的吞吐量和性能有明显的提升,并且具备良好的扩展性可满足日益增长的数据需求,该优化方案对车辆监控系统大数据的存储和效率提升上有显著作用。
【关键词】：车辆监控系统 Spark Hbase Kafka Redis
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP277
【目录】：

• 摘要4-5
• abstract5-8
• 第1章 绪论8-11
• 1.1 课题背景及研究意义8-9
• 1.2 国内外发展现状9
• 1.3 论文主要工作9-10
• 1.4 本章小结10-11
• 第2章 相关理论及技术介绍11-17
• 2.1 分布式计算框架-SPARK11-12
• 2.2 非关系型数据库- HBASE12-13
• 2.3 高吞吐量消息队列- KAFKA13-15
• 2.4 高速缓存服务器- REDIS15-16
• 2.5 本章小结16-17
• 第3章 需求分析17-25
• 3.1 功能需求19-23
• 3.1.1 最新轨迹信息缓存19-20
• 3.1.2 拆分计算报警信息20-21
• 3.1.3 轨迹信息和报警信息存储21
• 3.1.4 轨迹信息和报警信息上报21
• 3.1.5 轨迹信息和报警信息汇总21-23
• 3.2 性能需求23
• 3.3 环境需求23-24
• 3.4 本章小结24-25
• 第4章 系统设计25-55
• 4.1 总体设计25-28
• 4.2 详细设计28-45
• 4.2.1 最新轨迹信息缓存28-30
• 4.2.2 拆分计算报警信息30-34
• 4.2.3 轨迹信息和报警信息存储34-37
• 4.2.4 轨迹信息和报警信息上报37-40
• 4.2.5 轨迹信息和报警信息汇总40-45
• 4.3 数据库设计45-54
• 4.3.1 Hbase表结构设计46-47
• 4.3.2 Redis表结构设计47-50
• 4.3.3 Oracle表结构设计50-52
• 4.3.4 Kafka队列结构设计52-54
• 4.4 本章小结54-55
• 第5章 系统实现55-67
• 5.1 最新轨迹信息缓存55-56
• 5.2 拆分计算报警信息56-59
• 5.3 轨迹信息和报警信息存储59-61
• 5.4 轨迹信息和报警信息上报61-64
• 5.5 轨迹信息和报警信息汇总64-66
• 5.6 测试结果及分析66
• 5.7 本章小结66-67
• 第6章 总结与展望67-68
• 参考文献68-71
• 致谢71

【相似文献】

中国期刊全文数据库 前10条

1 陈小平;王勇;景红;;安全车辆监控系统设计[J];微计算机信息;2006年31期

2 李伦彬;;车辆监控系统设计存在的问题及其对策探讨[J];黑龙江科技信息;2010年33期

3 赵志勇;;市重点车辆监控系统在道路运输安全监管应用[J];信息与电脑(理论版);2011年07期

4 杨卓敏;卢诚;;大范围联网的公路车辆监控系统日常维护[J];中国交通信息化;2013年10期

5 胡吉明,霍其润,宋培卿;移动车辆监控系统的研究与设计[J];电脑与信息技术;2002年04期

6 陈淑燕,瞿高峰;网络城防卡口车辆监控系统的设计与实现[J];计算机工程与应用;2002年13期

7 许志海,张昭云,王佑武;基于组件的可扩展车辆监控系统的设计[J];测绘通报;2005年11期

8 别丽华;宋中山;王鑫;;车辆监控系统设计的关键技术分析[J];中南民族大学学报(自然科学版);2006年01期

9 沈立明;徐俊杰;卢健琦;;宝钢危险品运输车辆监控系统的技术与实现[J];宝钢技术;2006年05期

10 于明飞;;车辆监控系统中的定位技术分析[J];科技信息(学术研究);2007年16期

中国重要会议论文全文数据库 前10条

1 仰燕兰;叶桦;费树岷;;分布式车辆监控系统的设计与实现[A];2007年中国智能自动化会议论文集[C];2007年

2 赵升;孙爱民;周伟;;鲜奶运输中GPS系统的运用[A];首届中国奶业大会论文集(上册)[C];2010年

3 许志海;张昭云;王佑武;;可扩展车辆监控系统的探讨与设计[A];中国地理信息系统协会第八届年会论文集[C];2004年

4 武玉梁;张义章;;危险化学品运输车辆监控系统设计[A];中国职业安全健康协会2013年学术年会论文集[C];2013年

5 刘征宇;张文亮;张利;;基于CDMA的车辆监控系统的车载终端硬件设计[A];2005年“数字安徽”博士科技论坛论文集[C];2005年

6 张继南;朱江;;基于WebGIS的GPS车辆监控系统设计与实现[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年

7 王凌;杨新照;张凤登;;基于GPS的车辆监控系统[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年

8 余阳;;基于GPS/GIS/3G技术的警用车辆监控系统[A];第十六届全国青年通信学术会议论文集（上）[C];2011年

9 张红军;;基于3G技术的小型车辆监控系统设计与开发[A];首届长三角科技论坛数字区域建设与地理空间技术论坛优秀论文集[C];2004年

10 朱丽娜;潘伟;吴晓平;;基于GIS与GPRS的车辆监控系统设计与实现[A];2009中国控制与决策会议论文集（3）[C];2009年

中国重要报纸全文数据库 前10条

1 MEB 记者 秦品;挽救了良心的车辆监控系统[N];机电商报;2011年

2 马斌;“交通新时空”在南宁得到成功应用[N];人民邮电;2005年

3 马斌;交通新时空 为交通运输业保驾护航[N];人民邮电;2005年

4 通讯员 吕勇;烟台港开通GPS车辆监控系统[N];中国水运报;2005年

5 记者/何明 通讯员/黄敬良;我区长途客车将全部装上 GPS 车辆监控系统[N];广西日报;2004年

6 记者 莫艳萍 实习生 彭旭才;“交通新时空”GPS车辆监控系统通过评审[N];广西日报;2005年

7 夏隽;南京电网GPS车辆监控系统升级[N];国家电网报;2010年

8 本报记者 海艳丽;机械化数字化促我市环卫工作省时省心又省力[N];呼和浩特日报(汉);2011年

9 本报通讯员 许永贤;监管水平靠科技提升[N];经济日报;2001年

10 北京灵图软件技术有限公司 唐裕津 刘蕾;构筑中国的LBS体系[N];计算机世界;2002年

中国博士学位论文全文数据库 前1条

1 李香平;基于复合颜色空间与时空域的视频车辆监控系统的研究[D];天津大学;2004年

中国硕士学位论文全文数据库 前10条

1 侯晋瑞;车辆监控系统监控中心端设计与实现[D];西南交通大学;2007年

2 张雨;安徽烟草车辆监控系统的设计[D];安徽大学;2007年

3 房春庆;车辆监控系统的设计与实现[D];北京邮电大学;2012年

4 齐光石;基于3G技术远程车辆监控系统的设计与实现[D];吉林大学;2012年

5 穆斌;基于CDMA的车辆监控系统终端的研究与实现[D];电子科技大学;2009年

6 斯牛辉;特殊车辆监控系统设计与实现[D];电子科技大学;2014年

7 宋勇;基于北斗的车辆监控系统的设计与实现[D];电子科技大学;2014年

8 曹帅;基于GPS/GIS的物流车辆远程监控系统研究[D];安徽农业大学;2014年

9 陈寅菲;基于RFID的车辆监控系统设计与实现[D];天津大学;2014年

10 钱科宇;基于WebGIS的车辆监控系统的性能优化研究[D];南京邮电大学;2015年

  本文关键词：基于大数据技术的车辆监控系统的优化与实现，由笔耕文化传播整理发布。

本文编号：397074