基于大数据分析的缉查布控系统设计与实现
发布时间：2021-08-12 23:33
目前绵阳市共建设超过700个公路卡口,每天的过车记录数据信息超过600万条,并伴随有大量的图片和视频数据信息。但是随着更多新建的卡口接入原有的缉查布控系统,系统产生的问题也日趋严重,因此需要对原有缉查布控系统进行改进。在原有缉查布控系统中,采用Servlet接口接收从前端卡口系统上传的数据,然后经过比对分析后存入Oracle数据库。这样的架构导致了一个很严重的问题,即由于在接口中数据会进行比对分析,接口处理数据的速度与卡口上传数据的速度之间存在差异,因此很容易造成数据在接口处不断的积压,导致业务端的数据实时性非常低。原有缉查布控系统中卡口数量少的时候,此问题不是很明显,但是随着城市的发展,卡口数量不断增长,问题也日趋严重。在问题刚开始出现的时候,提供的解决方式是增加缉查布控系统的服务器数量,问题也得到了暂时的解决,但是关系型数据库在数据量大增的情况下,业务端的查询与统计效率也大幅度降低,无法满足业务系统的正常业务需求。因此经过分析,提出以Hadoop框架及大数据分析方法来构建缉查布控系统。面对海量的过车记录数据,本系统采用大数据存储和大数据分析技术来对其进行处理。系统通过Kafka分布...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
SpringMVC底层执行原理
电子科技大学硕士学位论文10角度分为完全备份、增量备份和差异备份。完全备份是指每次备份完整的数据；增量备份是指每次在完全备份或增量备份的基础上只备份修改过数据，当需要恢复数据时，依赖于上次完整备份和每次增量备份；差异备份是指每次在完全备份的基础上只备份修改过数据，当需要恢复数据时，依赖于上次完整备份和最后一次差异备份。图2-2Oracle备份分类图2.4HbaseHbase数据库全称HadoopDatabase，是一种构建在HDFS之上的分布式数据库，其优点在于超大规模数据集的时候实时读写和随机访问速度都非常的快[18]。Hbase可以直接定位要查数据所在的服务器，然后在这个服务器的一个区域里查找需要匹配的数据，也就可以在保证一些实时计算方法能够快速读取到数据并对数据进行处理。Hbase是一种“NoSQL”数据库，意味着Hbase不支持SQL语句，这点与以SQL语句作为其主要访问语言的RDBMS不同。从技术上讲，HBASE实际上更像是一个“数据存储”而不是“数据库”，因为它缺少RDBMS中的许多特性，例如类型化列、辅助索引、触发器和高级查询语言等。Hbase可以通过增加RegionServers来线性扩展。例如，如果集群中RegionServers的数量从10扩展到20个，那么它的存储能力和处理能力都会加倍。关系型数据库也可以有很好的扩展性，但是扩展有限度，并且为了保证最佳的性能，需要专门的硬件和存储设备。什么时候应该使用Hbase？首先，确保系统有足够的数据，卡口每月产生数亿
电子科技大学硕士学位论文12出来的结果进行预测性分析，例如系统中的落脚点分析，从每天的落脚点中预测哪个卡点为真实落脚点；SemanticEngines（语义引擎），指的是设计语义引擎来识别非结构化数据，例如系统中接入的卡口过车数据不止一个厂商，每个厂商给出的卡口数据格式也存在差异；DataQualityandMasterDataManagement（数据质量和数据管理），指的是通过一些标准化的流程来保证结果的质量，例如系统对过车数据上传的情况进行监测，监测内容包括上传成功、失败的数据总数、卡口数据上传时延情况以及上传失败的卡口排行、上传失败的原因排行等，有利于用户及时发现异常。图2-3大数据分析框架2.5.1Hadoop分布式架构Hadoop是由Apache开发的一个分布式系统，是分析大数据的领先平台，其核心是HDFS（HadoopDistributedFileSystem）和MapReduce[23]。HDFS用于海量数据的分布式流式存储，它可以部署在普通甚至廉价的硬件服务器上，它在处理超大文件、高可靠性和可容错方面性能卓越[24]。MapReduce则是用于海量数据的计算，将复杂的计算抽象成Map和Reduce两个函数，只用简单的实现几个接口，即可开发出一个分布式程序[25]。由于MapReduce在实时计算和流处理方面存在弊端，所以在缉查布控系统中采用SparkStream流计算框架。SparkStream采用RDD（ResilientDistributedDatasets）技术将数据集显式的内存中进行实时流计算，便于后续重用，因此在处理速度和灵活性上比MapReduce性能好[26]。
【参考文献】：
期刊论文
[1]基于Kafka和Storm的车辆套牌实时分析存储系统[J]. 任培花,苏铭. 计算机系统应用. 2019(10)
[2]基于车辆异常行为的套牌车并行检测方法[J]. 康晨傲,曾献辉. 智能计算机与应用. 2019(03)
[3]基于大数据技术的智能交通管理与应用研究[J]. 杨永斌,李笑扬. 重庆工商大学学报(自然科学版). 2019(02)
[4]基于级联多任务深度学习的卡口识别引擎研究[J]. 何霞,汤一平,袁公萍,陈朋,王丽冉. 计算机科学. 2019(01)
[5]智能交通信息物理融合云控制系统[J]. 夏元清,闫策,王笑京,宋向辉. 自动化学报. 2019(01)
[6]智能车辆缉查布控系统的设计与实现探讨[J]. 李健. 科技经济导刊. 2018(33)
[7]地面交通控制的百年回顾和未来展望[J]. 李力,王飞跃. 自动化学报. 2018(04)
[8]MVC模式下多层分布式软件系统架构设计[J]. 刘正,张书锋,赵鹤鸣. 现代电子技术. 2018(07)
[9]基于卡口监测数据流的套牌车检测[J]. 李敏茜,毛嘉莉,袁培森,金澈清. 华东师范大学学报(自然科学版). 2018(02)
[10]Oracle、VB和Matlab在智能交通系统中的应用[J]. 李亚. 工程技术研究. 2018(02)
本文编号：3339278
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
SpringMVC底层执行原理
电子科技大学硕士学位论文10角度分为完全备份、增量备份和差异备份。完全备份是指每次备份完整的数据；增量备份是指每次在完全备份或增量备份的基础上只备份修改过数据，当需要恢复数据时，依赖于上次完整备份和每次增量备份；差异备份是指每次在完全备份的基础上只备份修改过数据，当需要恢复数据时，依赖于上次完整备份和最后一次差异备份。图2-2Oracle备份分类图2.4HbaseHbase数据库全称HadoopDatabase，是一种构建在HDFS之上的分布式数据库，其优点在于超大规模数据集的时候实时读写和随机访问速度都非常的快[18]。Hbase可以直接定位要查数据所在的服务器，然后在这个服务器的一个区域里查找需要匹配的数据，也就可以在保证一些实时计算方法能够快速读取到数据并对数据进行处理。Hbase是一种“NoSQL”数据库，意味着Hbase不支持SQL语句，这点与以SQL语句作为其主要访问语言的RDBMS不同。从技术上讲，HBASE实际上更像是一个“数据存储”而不是“数据库”，因为它缺少RDBMS中的许多特性，例如类型化列、辅助索引、触发器和高级查询语言等。Hbase可以通过增加RegionServers来线性扩展。例如，如果集群中RegionServers的数量从10扩展到20个，那么它的存储能力和处理能力都会加倍。关系型数据库也可以有很好的扩展性，但是扩展有限度，并且为了保证最佳的性能，需要专门的硬件和存储设备。什么时候应该使用Hbase？首先，确保系统有足够的数据，卡口每月产生数亿
电子科技大学硕士学位论文12出来的结果进行预测性分析，例如系统中的落脚点分析，从每天的落脚点中预测哪个卡点为真实落脚点；SemanticEngines（语义引擎），指的是设计语义引擎来识别非结构化数据，例如系统中接入的卡口过车数据不止一个厂商，每个厂商给出的卡口数据格式也存在差异；DataQualityandMasterDataManagement（数据质量和数据管理），指的是通过一些标准化的流程来保证结果的质量，例如系统对过车数据上传的情况进行监测，监测内容包括上传成功、失败的数据总数、卡口数据上传时延情况以及上传失败的卡口排行、上传失败的原因排行等，有利于用户及时发现异常。图2-3大数据分析框架2.5.1Hadoop分布式架构Hadoop是由Apache开发的一个分布式系统，是分析大数据的领先平台，其核心是HDFS（HadoopDistributedFileSystem）和MapReduce[23]。HDFS用于海量数据的分布式流式存储，它可以部署在普通甚至廉价的硬件服务器上，它在处理超大文件、高可靠性和可容错方面性能卓越[24]。MapReduce则是用于海量数据的计算，将复杂的计算抽象成Map和Reduce两个函数，只用简单的实现几个接口，即可开发出一个分布式程序[25]。由于MapReduce在实时计算和流处理方面存在弊端，所以在缉查布控系统中采用SparkStream流计算框架。SparkStream采用RDD（ResilientDistributedDatasets）技术将数据集显式的内存中进行实时流计算，便于后续重用，因此在处理速度和灵活性上比MapReduce性能好[26]。
【参考文献】：
期刊论文
[1]基于Kafka和Storm的车辆套牌实时分析存储系统[J]. 任培花,苏铭. 计算机系统应用. 2019(10)
[2]基于车辆异常行为的套牌车并行检测方法[J]. 康晨傲,曾献辉. 智能计算机与应用. 2019(03)
[3]基于大数据技术的智能交通管理与应用研究[J]. 杨永斌,李笑扬. 重庆工商大学学报(自然科学版). 2019(02)
[4]基于级联多任务深度学习的卡口识别引擎研究[J]. 何霞,汤一平,袁公萍,陈朋,王丽冉. 计算机科学. 2019(01)
[5]智能交通信息物理融合云控制系统[J]. 夏元清,闫策,王笑京,宋向辉. 自动化学报. 2019(01)
[6]智能车辆缉查布控系统的设计与实现探讨[J]. 李健. 科技经济导刊. 2018(33)
[7]地面交通控制的百年回顾和未来展望[J]. 李力,王飞跃. 自动化学报. 2018(04)
[8]MVC模式下多层分布式软件系统架构设计[J]. 刘正,张书锋,赵鹤鸣. 现代电子技术. 2018(07)
[9]基于卡口监测数据流的套牌车检测[J]. 李敏茜,毛嘉莉,袁培森,金澈清. 华东师范大学学报(自然科学版). 2018(02)
[10]Oracle、VB和Matlab在智能交通系统中的应用[J]. 李亚. 工程技术研究. 2018(02)
本文编号：3339278
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3339278.html
