基于Spark Streaming的视频/图像流处理与新的性能评估方法
发布时间:2021-06-05 23:05
智能视频监控技术在公共安全、交通管理、智慧城市等方面有着广泛的运用前景,需求日益增长。随着摄像头安装的数量越来越多,采集的图像数据量越来越大,靠单台计算机处理已经远远不能满足需求了。分布式计算的兴起与发展为解决大规模的数据处理问题提供了很好的途径。使用一种基于Spark Streaming的视频/图像流处理的测试平台,阐述了平台的构成和工作流程,深入研究各个参数对集群性能的影响,创新性地提出了CPU时间占用率作为性能评估指标,与总的处理时间结合,更为全面反映集群性能和资源利用率。
【文章来源】:计算机工程与科学. 2015,37(11)北大核心CSCD
【文章页数】:6 页
【部分图文】:
图1测试平台的组成Figure1Compositionofthetestingplatforms
OpenCV库,图像信息需要进一步解码和转换得到OpenCV对应的Mat类型再进行处理。整个数据的序列化以及传输采用的是byte[]基本类型数组。本文采用图像的HOG(HistogramofOrien-tedGradient)[8]特征检测作为测试,HOG特征已经被广泛运用在图像识别中,特别是在行人检测方面获得了很大的成功。如图2所示为HOG特征行人检测的效果图,方框为检测的结果。Figure2ResultoftheHOGdetection图2HOG特征检测效果图2.3数据存储数据存储采用多种存储结合的方式,针对不同的应用采取不同的存储方式,主要有本地存储、Hadoop分布式存储HDFS和分布式数据库HBase等。如网页应用可以将结果返回集群的Driver的本地存储,这样可以快速获取结果。2.4数据包设计数据包的组织形式如图3所示。Figure3Formatofdatapackets图3数据包的格式(1)Block(0):数据包头部,整型,四个字节,记录后面一个数据的总长度;(2)Block(2k+1):整型,四个字节,记录Block(2k+2)的字节长度(k=0,1,2,…,n);(3)Block(2k+2):任意长的字节数组,是真正的数据(k=0,1,2,…,n);(4)Block(2k+3):CRC校验,一个字节。2.5RDD中的数据包数据包在RDD(ResilientDistributedData-sets)中的抽象如图4所示。在Receive
别中,特别是在行人检测方面获得了很大的成功。如图2所示为HOG特征行人检测的效果图,方框为检测的结果。Figure2ResultoftheHOGdetection图2HOG特征检测效果图2.3数据存储数据存储采用多种存储结合的方式,针对不同的应用采取不同的存储方式,主要有本地存储、Hadoop分布式存储HDFS和分布式数据库HBase等。如网页应用可以将结果返回集群的Driver的本地存储,这样可以快速获取结果。2.4数据包设计数据包的组织形式如图3所示。Figure3Formatofdatapackets图3数据包的格式(1)Block(0):数据包头部,整型,四个字节,记录后面一个数据的总长度;(2)Block(2k+1):整型,四个字节,记录Block(2k+2)的字节长度(k=0,1,2,…,n);(3)Block(2k+2):任意长的字节数组,是真正的数据(k=0,1,2,…,n);(4)Block(2k+3):CRC校验,一个字节。2.5RDD中的数据包数据包在RDD(ResilientDistributedData-sets)中的抽象如图4所示。在Receiver接收到数据包之后会保存到ArrayBuffer中,ArrayBuffer最终会被包装成ReceivedBlock并保存在Block-Manager中。在提交Job的时候这些Received-Block会抽象成RDD,每个ReceivedBlock对应一个partition并
【参考文献】:
期刊论文
[1]智能视频监控技术综述[J]. 黄凯奇,陈晓棠,康运锋,谭铁牛. 计算机学报. 2015(06)
本文编号:3213092
【文章来源】:计算机工程与科学. 2015,37(11)北大核心CSCD
【文章页数】:6 页
【部分图文】:
图1测试平台的组成Figure1Compositionofthetestingplatforms
OpenCV库,图像信息需要进一步解码和转换得到OpenCV对应的Mat类型再进行处理。整个数据的序列化以及传输采用的是byte[]基本类型数组。本文采用图像的HOG(HistogramofOrien-tedGradient)[8]特征检测作为测试,HOG特征已经被广泛运用在图像识别中,特别是在行人检测方面获得了很大的成功。如图2所示为HOG特征行人检测的效果图,方框为检测的结果。Figure2ResultoftheHOGdetection图2HOG特征检测效果图2.3数据存储数据存储采用多种存储结合的方式,针对不同的应用采取不同的存储方式,主要有本地存储、Hadoop分布式存储HDFS和分布式数据库HBase等。如网页应用可以将结果返回集群的Driver的本地存储,这样可以快速获取结果。2.4数据包设计数据包的组织形式如图3所示。Figure3Formatofdatapackets图3数据包的格式(1)Block(0):数据包头部,整型,四个字节,记录后面一个数据的总长度;(2)Block(2k+1):整型,四个字节,记录Block(2k+2)的字节长度(k=0,1,2,…,n);(3)Block(2k+2):任意长的字节数组,是真正的数据(k=0,1,2,…,n);(4)Block(2k+3):CRC校验,一个字节。2.5RDD中的数据包数据包在RDD(ResilientDistributedData-sets)中的抽象如图4所示。在Receive
别中,特别是在行人检测方面获得了很大的成功。如图2所示为HOG特征行人检测的效果图,方框为检测的结果。Figure2ResultoftheHOGdetection图2HOG特征检测效果图2.3数据存储数据存储采用多种存储结合的方式,针对不同的应用采取不同的存储方式,主要有本地存储、Hadoop分布式存储HDFS和分布式数据库HBase等。如网页应用可以将结果返回集群的Driver的本地存储,这样可以快速获取结果。2.4数据包设计数据包的组织形式如图3所示。Figure3Formatofdatapackets图3数据包的格式(1)Block(0):数据包头部,整型,四个字节,记录后面一个数据的总长度;(2)Block(2k+1):整型,四个字节,记录Block(2k+2)的字节长度(k=0,1,2,…,n);(3)Block(2k+2):任意长的字节数组,是真正的数据(k=0,1,2,…,n);(4)Block(2k+3):CRC校验,一个字节。2.5RDD中的数据包数据包在RDD(ResilientDistributedData-sets)中的抽象如图4所示。在Receiver接收到数据包之后会保存到ArrayBuffer中,ArrayBuffer最终会被包装成ReceivedBlock并保存在Block-Manager中。在提交Job的时候这些Received-Block会抽象成RDD,每个ReceivedBlock对应一个partition并
【参考文献】:
期刊论文
[1]智能视频监控技术综述[J]. 黄凯奇,陈晓棠,康运锋,谭铁牛. 计算机学报. 2015(06)
本文编号:3213092
本文链接:https://www.wllwen.com/kejilunwen/wltx/3213092.html