基于分布式的监控视频数据并行化处理平台研究与实现

发布时间：2021-01-30 12:37

　　视频监控随着智慧城市的建设被广泛应用于各行各业,监控视频系统的规模越来越大,监控摄像头的分辨率也越来越清晰,视频数据量猛烈增长。为了从大规模监控视频数据中挖掘更多有价值的信息,辅助监控人员实现智能视频监控,越来越多的视频分析算法被引入使用,更加重了监控视频系统的计算负载。面对海量视频数据和各种复杂的视频分析,如何将视频分析算法灵活地耦合在高效的视频数据处理平台成为一个重要的挑战。另一方面,在当下数据爆炸的时代,分布式技术成为近年来的一个技术热点。Hadoop、Spark等分布式技术的出现,为解决海量数据处理和存储问题提供了有效地解决方案。针对上述监控视频领域出现的问题,本文设计了基于分布式的监控视频数据并行化处理的平台。主要研究内容包括:在平台架构设计上,该平台主要由消息中心模块、分析计算模块和存储模块三个部分组成。为了解决监控视频系统中存在的视频处理算法与系统物理资源耦合度高等问题,本文采用Kafka消息队列作为消息中心模块负责视频数据的采集以及对中间结果数据进行缓存,作为中间件将平台中不同的视频分析模块进行解耦,提高平台的灵活性。为了满足对大规模视频数据近实时性处理的需求,本文采用... 

【文章来源】：兰州交通大学甘肃省

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

HBase体系架构图

【参考文献】：
期刊论文
[1]基于Spark的点排序识别聚类结构算法[J]. 瞿原,邓维斌,胡峰,张其龙,王鸿.  计算机科学. 2018(01)
[2]基于Spark的实时视频分析系统[J]. 郑健,冯瑞.  计算机系统应用. 2017(12)
[3]基于Spark Streaming的视频/图像流处理与新的性能评估方法[J]. 黄文辉,冯瑞.  计算机工程与科学. 2015(11)
[4]基于Storm平台的实时视频分析系统[J]. 韩杰,陈耀武.  计算机工程. 2015(12)
[5]大数据流式计算:应用特征和技术挑战[J]. 孙大为.  大数据. 2015(03)
[6]智能视频监控技术综述[J]. 黄凯奇,陈晓棠,康运锋,谭铁牛.  计算机学报. 2015(06)
[7]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民.  软件学报. 2014(04)
[8]基于Map Reduce的分布式视频处理平台[J]. 耿晨曜,姚丹亚,张盈盈,张煦,常刚.  计算机工程. 2012(10)
[9]几种典型局部图像特征的比较[J]. 雷兰一菲,郎海涛.  计算机应用. 2010(S2)

硕士论文
[1]基于SaaS模式的医药采购云平台设计与实现[D]. 孙朋.东南大学 2019
[2]复杂背景下的运动目标检测研究[D]. 曹明伟.合肥工业大学 2014
[3]基于Hadoop平台的广告检测系统研究与实现[D]. 杨宁.复旦大学 2012



本文编号：3008914