基于Spark Streaming的视频/图像流处理与新的性能评估方法
发布时间：2021-06-05 23:05
智能视频监控技术在公共安全、交通管理、智慧城市等方面有着广泛的运用前景,需求日益增长。随着摄像头安装的数量越来越多,采集的图像数据量越来越大,靠单台计算机处理已经远远不能满足需求了。分布式计算的兴起与发展为解决大规模的数据处理问题提供了很好的途径。使用一种基于Spark Streaming的视频/图像流处理的测试平台,阐述了平台的构成和工作流程,深入研究各个参数对集群性能的影响,创新性地提出了CPU时间占用率作为性能评估指标,与总的处理时间结合,更为全面反映集群性能和资源利用率。
【文章来源】：计算机工程与科学. 2015,37(11)北大核心CSCD
【文章页数】：6 页
【部分图文】：
图１测试平台的组成Ｆｉｇｕｒｅ１Ｃｏｍｐｏｓｉｔｉｏｎｏｆｔｈｅｔｅｓｔｉｎｇｐｌａｔｆｏｒｍｓ
ＯｐｅｎＣＶ库，图像信息需要进一步解码和转换得到ＯｐｅｎＣＶ对应的Ｍａｔ类型再进行处理。整个数据的序列化以及传输采用的是ｂｙｔｅ［］基本类型数组。本文采用图像的ＨＯＧ（ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎ－ｔｅｄＧｒａｄｉｅｎｔ）［８］特征检测作为测试，ＨＯＧ特征已经被广泛运用在图像识别中，特别是在行人检测方面获得了很大的成功。如图２所示为ＨＯＧ特征行人检测的效果图，方框为检测的结果。Ｆｉｇｕｒｅ２ＲｅｓｕｌｔｏｆｔｈｅＨＯＧｄｅｔｅｃｔｉｏｎ图２ＨＯＧ特征检测效果图２．３数据存储数据存储采用多种存储结合的方式，针对不同的应用采取不同的存储方式，主要有本地存储、Ｈａｄｏｏｐ分布式存储ＨＤＦＳ和分布式数据库ＨＢａｓｅ等。如网页应用可以将结果返回集群的Ｄｒｉｖｅｒ的本地存储，这样可以快速获取结果。２．４数据包设计数据包的组织形式如图３所示。Ｆｉｇｕｒｅ３Ｆｏｒｍａｔｏｆｄａｔａｐａｃｋｅｔｓ图３数据包的格式（１）Ｂｌｏｃｋ（０）：数据包头部，整型，四个字节，记录后面一个数据的总长度；（２）Ｂｌｏｃｋ（２ｋ＋１）：整型，四个字节，记录Ｂｌｏｃｋ（２ｋ＋２）的字节长度（ｋ＝０，１，２，…，ｎ）；（３）Ｂｌｏｃｋ（２ｋ＋２）：任意长的字节数组，是真正的数据（ｋ＝０，１，２，…，ｎ）；（４）Ｂｌｏｃｋ（２ｋ＋３）：ＣＲＣ校验，一个字节。２．５ＲＤＤ中的数据包数据包在ＲＤＤ（ＲｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂｕｔｅｄＤａｔａ－ｓｅｔｓ）中的抽象如图４所示。在Ｒｅｃｅｉｖｅ
别中，特别是在行人检测方面获得了很大的成功。如图２所示为ＨＯＧ特征行人检测的效果图，方框为检测的结果。Ｆｉｇｕｒｅ２ＲｅｓｕｌｔｏｆｔｈｅＨＯＧｄｅｔｅｃｔｉｏｎ图２ＨＯＧ特征检测效果图２．３数据存储数据存储采用多种存储结合的方式，针对不同的应用采取不同的存储方式，主要有本地存储、Ｈａｄｏｏｐ分布式存储ＨＤＦＳ和分布式数据库ＨＢａｓｅ等。如网页应用可以将结果返回集群的Ｄｒｉｖｅｒ的本地存储，这样可以快速获取结果。２．４数据包设计数据包的组织形式如图３所示。Ｆｉｇｕｒｅ３Ｆｏｒｍａｔｏｆｄａｔａｐａｃｋｅｔｓ图３数据包的格式（１）Ｂｌｏｃｋ（０）：数据包头部，整型，四个字节，记录后面一个数据的总长度；（２）Ｂｌｏｃｋ（２ｋ＋１）：整型，四个字节，记录Ｂｌｏｃｋ（２ｋ＋２）的字节长度（ｋ＝０，１，２，…，ｎ）；（３）Ｂｌｏｃｋ（２ｋ＋２）：任意长的字节数组，是真正的数据（ｋ＝０，１，２，…，ｎ）；（４）Ｂｌｏｃｋ（２ｋ＋３）：ＣＲＣ校验，一个字节。２．５ＲＤＤ中的数据包数据包在ＲＤＤ（ＲｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂｕｔｅｄＤａｔａ－ｓｅｔｓ）中的抽象如图４所示。在Ｒｅｃｅｉｖｅｒ接收到数据包之后会保存到ＡｒｒａｙＢｕｆｆｅｒ中，ＡｒｒａｙＢｕｆｆｅｒ最终会被包装成ＲｅｃｅｉｖｅｄＢｌｏｃｋ并保存在Ｂｌｏｃｋ－Ｍａｎａｇｅｒ中。在提交Ｊｏｂ的时候这些Ｒｅｃｅｉｖｅｄ－Ｂｌｏｃｋ会抽象成ＲＤＤ，每个ＲｅｃｅｉｖｅｄＢｌｏｃｋ对应一个ｐａｒｔｉｔｉｏｎ并
【参考文献】：
期刊论文
[1]智能视频监控技术综述[J]. 黄凯奇,陈晓棠,康运锋,谭铁牛. 计算机学报. 2015(06)
本文编号：3213092
【文章来源】：计算机工程与科学. 2015,37(11)北大核心CSCD
【文章页数】：6 页
【部分图文】：
图１测试平台的组成Ｆｉｇｕｒｅ１Ｃｏｍｐｏｓｉｔｉｏｎｏｆｔｈｅｔｅｓｔｉｎｇｐｌａｔｆｏｒｍｓ
ＯｐｅｎＣＶ库，图像信息需要进一步解码和转换得到ＯｐｅｎＣＶ对应的Ｍａｔ类型再进行处理。整个数据的序列化以及传输采用的是ｂｙｔｅ［］基本类型数组。本文采用图像的ＨＯＧ（ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎ－ｔｅｄＧｒａｄｉｅｎｔ）［８］特征检测作为测试，ＨＯＧ特征已经被广泛运用在图像识别中，特别是在行人检测方面获得了很大的成功。如图２所示为ＨＯＧ特征行人检测的效果图，方框为检测的结果。Ｆｉｇｕｒｅ２ＲｅｓｕｌｔｏｆｔｈｅＨＯＧｄｅｔｅｃｔｉｏｎ图２ＨＯＧ特征检测效果图２．３数据存储数据存储采用多种存储结合的方式，针对不同的应用采取不同的存储方式，主要有本地存储、Ｈａｄｏｏｐ分布式存储ＨＤＦＳ和分布式数据库ＨＢａｓｅ等。如网页应用可以将结果返回集群的Ｄｒｉｖｅｒ的本地存储，这样可以快速获取结果。２．４数据包设计数据包的组织形式如图３所示。Ｆｉｇｕｒｅ３Ｆｏｒｍａｔｏｆｄａｔａｐａｃｋｅｔｓ图３数据包的格式（１）Ｂｌｏｃｋ（０）：数据包头部，整型，四个字节，记录后面一个数据的总长度；（２）Ｂｌｏｃｋ（２ｋ＋１）：整型，四个字节，记录Ｂｌｏｃｋ（２ｋ＋２）的字节长度（ｋ＝０，１，２，…，ｎ）；（３）Ｂｌｏｃｋ（２ｋ＋２）：任意长的字节数组，是真正的数据（ｋ＝０，１，２，…，ｎ）；（４）Ｂｌｏｃｋ（２ｋ＋３）：ＣＲＣ校验，一个字节。２．５ＲＤＤ中的数据包数据包在ＲＤＤ（ＲｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂｕｔｅｄＤａｔａ－ｓｅｔｓ）中的抽象如图４所示。在Ｒｅｃｅｉｖｅ
别中，特别是在行人检测方面获得了很大的成功。如图２所示为ＨＯＧ特征行人检测的效果图，方框为检测的结果。Ｆｉｇｕｒｅ２ＲｅｓｕｌｔｏｆｔｈｅＨＯＧｄｅｔｅｃｔｉｏｎ图２ＨＯＧ特征检测效果图２．３数据存储数据存储采用多种存储结合的方式，针对不同的应用采取不同的存储方式，主要有本地存储、Ｈａｄｏｏｐ分布式存储ＨＤＦＳ和分布式数据库ＨＢａｓｅ等。如网页应用可以将结果返回集群的Ｄｒｉｖｅｒ的本地存储，这样可以快速获取结果。２．４数据包设计数据包的组织形式如图３所示。Ｆｉｇｕｒｅ３Ｆｏｒｍａｔｏｆｄａｔａｐａｃｋｅｔｓ图３数据包的格式（１）Ｂｌｏｃｋ（０）：数据包头部，整型，四个字节，记录后面一个数据的总长度；（２）Ｂｌｏｃｋ（２ｋ＋１）：整型，四个字节，记录Ｂｌｏｃｋ（２ｋ＋２）的字节长度（ｋ＝０，１，２，…，ｎ）；（３）Ｂｌｏｃｋ（２ｋ＋２）：任意长的字节数组，是真正的数据（ｋ＝０，１，２，…，ｎ）；（４）Ｂｌｏｃｋ（２ｋ＋３）：ＣＲＣ校验，一个字节。２．５ＲＤＤ中的数据包数据包在ＲＤＤ（ＲｅｓｉｌｉｅｎｔＤｉｓｔｒｉｂｕｔｅｄＤａｔａ－ｓｅｔｓ）中的抽象如图４所示。在Ｒｅｃｅｉｖｅｒ接收到数据包之后会保存到ＡｒｒａｙＢｕｆｆｅｒ中，ＡｒｒａｙＢｕｆｆｅｒ最终会被包装成ＲｅｃｅｉｖｅｄＢｌｏｃｋ并保存在Ｂｌｏｃｋ－Ｍａｎａｇｅｒ中。在提交Ｊｏｂ的时候这些Ｒｅｃｅｉｖｅｄ－Ｂｌｏｃｋ会抽象成ＲＤＤ，每个ＲｅｃｅｉｖｅｄＢｌｏｃｋ对应一个ｐａｒｔｉｔｉｏｎ并
【参考文献】：
期刊论文
[1]智能视频监控技术综述[J]. 黄凯奇,陈晓棠,康运锋,谭铁牛. 计算机学报. 2015(06)
本文编号：3213092
本文链接：https://www.wllwen.com/kejilunwen/wltx/3213092.html
