基于3D-LCRN视频异常行为识别方法

发布时间：2024-03-13 05:29

　　自动准确识别监控视频中的异常行为在安防领域具有广泛的应用前景.本文提出一种基于3D-LCRN(3D Long-short-term Convolutional Recurrent Network)视觉时序模型的视频异常行为识别方法.首先,基于视频图像帧间的结构相似性,结合光照感应与光照补偿机制进行背景建模,获取对光照突变与背景运动不敏感的矫正光流场与矫正运动历史图.同时,针对异常与正常行为视频数据失衡问题,计算三通道矫正光流运动历史图COFMHI(corrected optical flow motion history image),随机提取视觉词块进行聚类,对样本数量与维度进行双向扩充,充分获取样本的微分和积分运动信息.在此基础上,采用3D-CNN深度学习网络模型对COFMHI进行学习,获取局部短时序时空-域特征,结合可学习贡献因子加权的LSTM网络以压制无关、冗余、具有混淆性的视频片段,进一步提取由短时序-长时序,由局部-全局的多层次时-空域特征用于异常行为识别.通过与同类方法的客观定量对比,实验结果表明,本文方法在光照突变与背景运动等复杂场景下具有优异的异常行为识别性能,进一步...

【文章页数】：11 页

【部分图文】：

图1结构相似性建模中间结果展示Fig．1Experimentalresultsduringstructuralsimilaritymodeling

)为背景图像Bt－1在点(x，y)处的亮度，lt(x，y)为输入图像It在点(x，y)处的亮度，μ1和μ2分别是lt－1(x，y)和lt(x，y)的局部均值，σ1和σ2分别是lt－1(x，y)和lt(x，y)的局部方差，σ1，2是lt－1(x，y)和lt(x，y)之间的协方差(上....

图3结构相似性建模得到的背景与前景图像Fig．3Backgroundandforegroundimagesobtainedfromstructuralsimilaritymodeling

部分实验结果如图4所示．其中，图2(a)～(b)分别为前、后帧输入灰度图像(以前景图像F为掩码得到);图2(c)～(e)分别为权重函数w、扩展系数A、扩展系数ΔB;图2(f)～(h)分别为矫正光流场d在x方向的分量、矫正光流场d在y方向的分量与矫正运动历史图H．图3结构相似性建模....

图5矫正光流运动历史图Fig．5Correctedopticalflowmotionhistoryimage

d(i，j)=∑nx=1∑ny=1∑Tt=1∑ＲGB(Si－Kj)槡2，SE=∑Kj=1∑Si∈Kjd(i，j)2，式中:Si为第i个聚类样本，Kj为第j个聚类中心．实验中，T为16，N为20，K=［FN/(3T)］，n=［wh/槡4］．式中:F为异常视频剪辑片段数，w、h为分别....

图8LSTM记忆细胞结构Fig．8Thestructureofthelongshort-termmemorycell

出和存储在该记忆细胞中的过去态进行更新，见式(3)～(7)．最后，基于LSTM输出计算每个时刻的类别概率分布P(yt)，通过对重叠片段的所有预测结果求平均值来获得每帧图像的所属类别，以实现正常与异常行为识别，见式(8)、(9)．3D-LCＲN的结构特性，使其能够在长时序间桥接重要....

本文编号：3927264