一种基于Kafka的数据采集与实时处理系统的设计与实现
发布时间：2021-07-06 07:54
近年来,随着互联网行业的迅猛发展和居民生活水平的提高,人们对生活的安全感和环境的质量要求越来越高,越来越多的人们选择非机动车辆出行,大家都希望生活在文明有序、平安和谐的环境中。与此同时,各地政府部门都在推进“互联网+”建设,提高监管服务效能。论文选题来源于“城市车辆智能防控系统”项目。系统通过给每辆电动车发放电子车牌和在各区县主干道安装传感设备的方式,来采集城市电动车的信息,解决城市电动车辆的监控、管理和被盗追查等问题,为某市公安局提供城市电动车辆的统一管理。由于区县内电动车数据接收量越来越大,因此车辆数据接收和实时数据处理成为当前项目中的一个难题。本论文针对“城市车辆智能防控系统”项目中数据接收量越来越大,导致数据处理中存在响应延迟、数据丢失以及过高的内存负载等问题,利用Kafka具备的高可靠性、异步通信和横向扩展能力,以及Netty减少资源消耗、充分提高资源利用率的能力,和Spark Streaming对数据进行快速分析并实时响应的能力,对数据采集及数据处理模块进行优化,实现一个具有高可靠性、低延时性的数据采集与实时处理系统。本文通过对现有项目背景和相关技术的分析,主要工作内容如下...
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
Netty逻辑架构图
第五章 系统测试与分析本章主要给出了该数据采集与实时处理系统需要的测试环境，然后根据相应需求进行系统测试和分析，验证该系统性能指标以及业务功能的正确性。同时将原有的系统和使用该系统架构的系统进行数据接入、处理时间等多个维度的对比分析，以图表的形式进一步直观地展示测试结果。5.1测试环境说明本数据采集与实时处理系统测试环境需要十六台虚拟机，其中一台用于部署智能终端接收程序，一台用于部署 RFID 车辆接收程序，三台用于部署 Redis 主从复制、哨兵监控，三台用于部署 Kafka 集群，四台用于部署 Spark，一台用于部署关系型数据库，三台用于非关系型数据库。实验室测试环境的系统部署图如图 5.1 所示。
图 5.3 采集设备上线功能测试截图从图 5.3 可以看出，采集设备通过上传心跳记录，当数据处理模块接收到该记录后，发现 Redis 中 heartbeat 表没有对应采集设备的心跳信息，将生成一条采集设备上线消息，更新对应采集设备的状态信息。如果 heartbeat 表中维护的采集设备超过某一时间间隔仍未收到相应的心跳数据，则认定该采集设备已下线，生成对应采集设备下线记录，结果图如图 5.4 所示。
【参考文献】：
期刊论文
[1]智能网联汽车高并发数据采集平台的研究[J]. 单泽萌,任女尔,蔡建军. 计算机产品与流通. 2019(01)
[2]窄带物联网NB-IoT技术特点及在电动自行车联网管理方面的应用[J]. 王少锋. 数字通信世界. 2019(01)
[3]公共电动自行车智能管理系统的设计[J]. 肖旻,江福椿. 信息系统工程. 2018(12)
[4]基于LTE专网的物联网电动车防盗管控平台研发[J]. 李国政,李少波. 有线电视技术. 2018(11)
[5]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[6]高并发访问量下网络I/O模型选择的研究[J]. 常正超. 电脑知识与技术. 2016(19)
[7]一种分布式消息队列的可靠性研究[J]. 杨冬晖. 电脑知识与技术. 2015(21)
[8]基于Netty的交通卡口数据交互中间件研究[J]. 于晓昀. 电脑知识与技术. 2015(12)
[9]分布式流处理技术综述[J]. 崔星灿,禹晓辉,刘洋,吕朝阳. 计算机研究与发展. 2015(02)
[10]面向大规模分布式计算发布订阅系统核心技术[J]. 马建刚,黄涛,汪锦岭,徐罡,叶丹. 软件学报. 2006(01)
硕士论文
[1]车联网大数据处理系统的设计与实现[D]. 宋秉华.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[2]基于Kafka和Storm的实时日志流处理系统的设计与实现[D]. 周敏菲.贵州大学 2017
[3]Redis集群可靠性的研究与优化[D]. 李燚.中国科学技术大学 2017
[4]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
[5]基于Spark平台的实时流计算推荐系统的研究与实现[D]. 张贤德.江苏大学 2016
[6]基于RFID技术的车辆防盗备案智能报警系统的研究与实现[D]. 金凯涛.浙江工商大学 2015
[7]基于混合存储的电动自行车管理系统研究与实现[D]. 康景龙.西安电子科技大学 2015
[8]基于Netty的高可服务消息中间件的研究与实现[D]. 崔晓旻.电子科技大学 2014
[9]基于hadoop云存储平台的车辆监控服务系统的设计与实现[D]. 王仁阳.北京邮电大学 2013
[10]NIO高性能框架的研究与应用[D]. 刘蓬.湖南大学 2013
本文编号：3267844
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
Netty逻辑架构图
第五章 系统测试与分析本章主要给出了该数据采集与实时处理系统需要的测试环境，然后根据相应需求进行系统测试和分析，验证该系统性能指标以及业务功能的正确性。同时将原有的系统和使用该系统架构的系统进行数据接入、处理时间等多个维度的对比分析，以图表的形式进一步直观地展示测试结果。5.1测试环境说明本数据采集与实时处理系统测试环境需要十六台虚拟机，其中一台用于部署智能终端接收程序，一台用于部署 RFID 车辆接收程序，三台用于部署 Redis 主从复制、哨兵监控，三台用于部署 Kafka 集群，四台用于部署 Spark，一台用于部署关系型数据库，三台用于非关系型数据库。实验室测试环境的系统部署图如图 5.1 所示。
图 5.3 采集设备上线功能测试截图从图 5.3 可以看出，采集设备通过上传心跳记录，当数据处理模块接收到该记录后，发现 Redis 中 heartbeat 表没有对应采集设备的心跳信息，将生成一条采集设备上线消息，更新对应采集设备的状态信息。如果 heartbeat 表中维护的采集设备超过某一时间间隔仍未收到相应的心跳数据，则认定该采集设备已下线，生成对应采集设备下线记录，结果图如图 5.4 所示。
【参考文献】：
期刊论文
[1]智能网联汽车高并发数据采集平台的研究[J]. 单泽萌,任女尔,蔡建军. 计算机产品与流通. 2019(01)
[2]窄带物联网NB-IoT技术特点及在电动自行车联网管理方面的应用[J]. 王少锋. 数字通信世界. 2019(01)
[3]公共电动自行车智能管理系统的设计[J]. 肖旻,江福椿. 信息系统工程. 2018(12)
[4]基于LTE专网的物联网电动车防盗管控平台研发[J]. 李国政,李少波. 有线电视技术. 2018(11)
[5]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[6]高并发访问量下网络I/O模型选择的研究[J]. 常正超. 电脑知识与技术. 2016(19)
[7]一种分布式消息队列的可靠性研究[J]. 杨冬晖. 电脑知识与技术. 2015(21)
[8]基于Netty的交通卡口数据交互中间件研究[J]. 于晓昀. 电脑知识与技术. 2015(12)
[9]分布式流处理技术综述[J]. 崔星灿,禹晓辉,刘洋,吕朝阳. 计算机研究与发展. 2015(02)
[10]面向大规模分布式计算发布订阅系统核心技术[J]. 马建刚,黄涛,汪锦岭,徐罡,叶丹. 软件学报. 2006(01)
硕士论文
[1]车联网大数据处理系统的设计与实现[D]. 宋秉华.中国科学院大学(中国科学院工程管理与信息技术学院) 2017
[2]基于Kafka和Storm的实时日志流处理系统的设计与实现[D]. 周敏菲.贵州大学 2017
[3]Redis集群可靠性的研究与优化[D]. 李燚.中国科学技术大学 2017
[4]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
[5]基于Spark平台的实时流计算推荐系统的研究与实现[D]. 张贤德.江苏大学 2016
[6]基于RFID技术的车辆防盗备案智能报警系统的研究与实现[D]. 金凯涛.浙江工商大学 2015
[7]基于混合存储的电动自行车管理系统研究与实现[D]. 康景龙.西安电子科技大学 2015
[8]基于Netty的高可服务消息中间件的研究与实现[D]. 崔晓旻.电子科技大学 2014
[9]基于hadoop云存储平台的车辆监控服务系统的设计与实现[D]. 王仁阳.北京邮电大学 2013
[10]NIO高性能框架的研究与应用[D]. 刘蓬.湖南大学 2013
本文编号：3267844
本文链接：https://www.wllwen.com/kejilunwen/daoluqiaoliang/3267844.html
