基于改进3D卷积神经网络的群组行为识别算法研究
发布时间：2021-11-22 01:41
近年来,随着智能监控系统的广泛应用以及计算机视觉技术的不断发展,群组行为识别已经成为智能视频监控领域中的关键技术,对于公共安全、人机交互和视频分析等领域具有重要的研究意义。社会的快速发展,对有效防范大规模群组事件的发生提出了迫切要求,如何构建一个高效稳定的群组行为识别算法是解决该问题的关键。而在构建群组行为识别算法过程中依然存在几个核心问题需要亟待解决。其一,提高网络运行速度是保障智能视频监控系统实时性的核心问题;其二,交互关系建模是影响群组行为识别精度的核心问题;其三,综合利用多线索特征是全面提高群组行为识别性能的核心问题。本文针对上述三个问题进行重点研究,并做出以下几点贡献:（1）网络运行速度慢是制约智能监控系统实时性的核心问题,本文提出一种高效的C3D网络（Efficient 3D Convolutional,EC3D）模型,提高了时空特征提取阶段的网络运行速度。针对C3D网络参数多、训练速度慢的问题,本文从降低参数量的角度入手,将C3D网络中7*7*3的时空卷积分解为7*7*1的空间卷积和1*1*3的时间卷积,每个卷积核的参数量由原来的7*7*3=147个,变为7*7*1+1*...
【文章来源】：青岛科技大学山东省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
D卷积核与3D卷积核对比
青岛科技大学研究生学位论文LSTM网络在处理时序信息时，其核心部件是门控单元，通过门控单元可以确定应该何时输入信息，应该记住哪些信息、遗忘哪些信息以及何时输出信息。其中，门控单元通过以下操作完成迭代过程。(t)（2-3）(t)（2-4）(t)（2-5）(tttt)（2-6）ttt（2-7）其中表示Sigmoid函数，表示双曲正切函数，表示元素乘法，和表示权重矩阵。为LSTM网络输入，为具有个隐藏单元的隐藏状态，，为输入门，为遗忘门，为输出门，为时间的输入调制门，t是记忆单元。LSTM门控单元的框架示意图，如图2-2所示。图2-2LSTM门控单元Fig.2-2LSTMgatedunit通常用隐藏状态，对时刻人体目标正在执行的动作进行建模。由于在信息流上部署了门控单元，因此隐藏状态的输出会根据过去记忆单元中内容的变化而变化。时刻隐藏单元的输出可以用公式（2-8）进行表示。t(t)（2-8）将所有隐含层的状态{|t,,…,T}聚合在一起，描述整个视频片段的时空特征，并通过公式（2-9）计算输出结果。t()（2-9）最后将所有隐含层的输出结果传递给Softmax函数，以将时空特征转换为与第类行为相对应的概率值,(,…,t)
基于改进3D卷积神经网络的群组行为识别算法研究22,exp(,)texp(,)（2-10）其中，中的,表示第个行为类别的置信度得分编码。通常设,,,,…,,t为预测的分类标签向量。基于LSTM的时空特征提取方法，虽然能够捕获连续帧中的时间信息，但网络在训练过程中只学习了高层信息之间的联系，而丢失了底层关键的交互信息，因此识别结果不如人意。2.2.3基于双流卷积网络的方法基于双流卷积网络的时空特征提取方法，通过模拟人体的视觉特性对视频信息进行处理。将视频自然的分解成空间域和时间域，空间域是通过处理单个视频帧来描述空间特征，包括环境和视频中的人体目标，称为空间信息网；时间域是通过处理连续视频帧来捕获光流信息，并将光流信息作为时序特征的载体来描述人体运动特征，称为时间信息网。为了有效的进行人体行为分类，文献[44]提出一种双流卷积神经网络模型，网络架构如图2-3所示。图2-3双流卷积网络架构Fig.2-3Two-Streamconvolutionalnetworkarchitecture从图2-3可以看出，该模型的整体网络架构由两条支路组成，每条支路的功能都通过一个卷积神经网络来实现。第一条支路是空间卷积网络，以单个视频帧作为网络输入，经过多种卷积、池化操作，提取视频帧中的空间特征，并利用Softmax计算分类得分；第二条支路是时间卷积网络，以多个视频帧提取的光流信息作为网络输入，经过同样的卷积、池化操作后，提取多个视频帧中的人体运动特征，并利用Softmax计算分类得分；最后将两条支路的分类结果进行融合，输出最终的行为类别。下面将详细介绍两条支路的时空特征提取过程。
【参考文献】：
期刊论文
[1]基于自适应类别权重的HRRP决策融合识别[J]. 戴为龙,张弓,刘文波,钟娟娟. 现代雷达. 2017(07)
[2]基于多特征的视频中单人行为识别[J]. 胡兴旺,祁云嵩,袁玉龙. 电子设计工程. 2015(12)
博士论文
[1]贝叶斯网络结构学习与推理研究[D]. 朱明敏.西安电子科技大学 2013
硕士论文
[1]基于条件随机场的多视图序列数据建模研究[D]. 董子昂.华东师范大学 2020
[2]基于监控视频的群体行为识别算法研究[D]. 张乐军.安徽大学 2019
[3]分类器评价指标MCC、CEN和ACC的比较研究[D]. 刘林.天津师范大学 2019
[4]基于深度学习的群体行为识别方法研究[D]. 李定.哈尔滨理工大学 2019
[5]基于深度学习的人体动作识别[D]. 耿驰.南京邮电大学 2016
本文编号：3510678
【文章来源】：青岛科技大学山东省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
D卷积核与3D卷积核对比
青岛科技大学研究生学位论文LSTM网络在处理时序信息时，其核心部件是门控单元，通过门控单元可以确定应该何时输入信息，应该记住哪些信息、遗忘哪些信息以及何时输出信息。其中，门控单元通过以下操作完成迭代过程。(t)（2-3）(t)（2-4）(t)（2-5）(tttt)（2-6）ttt（2-7）其中表示Sigmoid函数，表示双曲正切函数，表示元素乘法，和表示权重矩阵。为LSTM网络输入，为具有个隐藏单元的隐藏状态，，为输入门，为遗忘门，为输出门，为时间的输入调制门，t是记忆单元。LSTM门控单元的框架示意图，如图2-2所示。图2-2LSTM门控单元Fig.2-2LSTMgatedunit通常用隐藏状态，对时刻人体目标正在执行的动作进行建模。由于在信息流上部署了门控单元，因此隐藏状态的输出会根据过去记忆单元中内容的变化而变化。时刻隐藏单元的输出可以用公式（2-8）进行表示。t(t)（2-8）将所有隐含层的状态{|t,,…,T}聚合在一起，描述整个视频片段的时空特征，并通过公式（2-9）计算输出结果。t()（2-9）最后将所有隐含层的输出结果传递给Softmax函数，以将时空特征转换为与第类行为相对应的概率值,(,…,t)
基于改进3D卷积神经网络的群组行为识别算法研究22,exp(,)texp(,)（2-10）其中，中的,表示第个行为类别的置信度得分编码。通常设,,,,…,,t为预测的分类标签向量。基于LSTM的时空特征提取方法，虽然能够捕获连续帧中的时间信息，但网络在训练过程中只学习了高层信息之间的联系，而丢失了底层关键的交互信息，因此识别结果不如人意。2.2.3基于双流卷积网络的方法基于双流卷积网络的时空特征提取方法，通过模拟人体的视觉特性对视频信息进行处理。将视频自然的分解成空间域和时间域，空间域是通过处理单个视频帧来描述空间特征，包括环境和视频中的人体目标，称为空间信息网；时间域是通过处理连续视频帧来捕获光流信息，并将光流信息作为时序特征的载体来描述人体运动特征，称为时间信息网。为了有效的进行人体行为分类，文献[44]提出一种双流卷积神经网络模型，网络架构如图2-3所示。图2-3双流卷积网络架构Fig.2-3Two-Streamconvolutionalnetworkarchitecture从图2-3可以看出，该模型的整体网络架构由两条支路组成，每条支路的功能都通过一个卷积神经网络来实现。第一条支路是空间卷积网络，以单个视频帧作为网络输入，经过多种卷积、池化操作，提取视频帧中的空间特征，并利用Softmax计算分类得分；第二条支路是时间卷积网络，以多个视频帧提取的光流信息作为网络输入，经过同样的卷积、池化操作后，提取多个视频帧中的人体运动特征，并利用Softmax计算分类得分；最后将两条支路的分类结果进行融合，输出最终的行为类别。下面将详细介绍两条支路的时空特征提取过程。
【参考文献】：
期刊论文
[1]基于自适应类别权重的HRRP决策融合识别[J]. 戴为龙,张弓,刘文波,钟娟娟. 现代雷达. 2017(07)
[2]基于多特征的视频中单人行为识别[J]. 胡兴旺,祁云嵩,袁玉龙. 电子设计工程. 2015(12)
博士论文
[1]贝叶斯网络结构学习与推理研究[D]. 朱明敏.西安电子科技大学 2013
硕士论文
[1]基于条件随机场的多视图序列数据建模研究[D]. 董子昂.华东师范大学 2020
[2]基于监控视频的群体行为识别算法研究[D]. 张乐军.安徽大学 2019
[3]分类器评价指标MCC、CEN和ACC的比较研究[D]. 刘林.天津师范大学 2019
[4]基于深度学习的群体行为识别方法研究[D]. 李定.哈尔滨理工大学 2019
[5]基于深度学习的人体动作识别[D]. 耿驰.南京邮电大学 2016
本文编号：3510678
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3510678.html
