基于时空卷积神经网络的视频人体行为识别
发布时间：2021-02-17 01:28
互联网的发展使视频数据呈爆炸式增长,有效地处理和分析海量视频数据成为一项重要的任务。充分利用视频数据,可应用于视频安全监控、视频检索与分类、人机交互和无人驾驶等方面应用。视频行为识别具有很重要的研究意义,并且在国内外取得了许多研究成果。基于视频的行为分类方法有传统方法和深度学习方法两大类。然而传统的人工特征方法面对成百上千的海量视频数据存在诸多局限性。随着计算机硬件水平的不断提高,深度学习方法在领域中得到了广泛的使用和研究。卷积神经网络在处理图像分类方面性能很好,但不适用于加入了时间序列的视频数据处理。基于双流神经网络的方法把时间特征和空间特征分开提取,两个网络之间没有学习到对应的像素关系,容易丢失动作识别线索。并且受到了时间尺度限制,无法识别长时间尺度视频。基于3D卷积的C3D网络直接提取了时空特征,计算速度快,符合视频识别要求,但大量的参数和计算量使得网络难以训练。针对上述问题本文提出一种时空卷积神经网络视频人体识别算法。为了解决双通道网络无法利用时空特征问题,本文对双流神经网络进行改进,把时域网络和空域网络经过卷积计算后提取的特征图加权融合,通过实验分析讨论了融合位置的影响。为了...
【文章来源】：湘潭大学湖南省
【文章页数】：54 页
【学位级别】：硕士
【部分图文】：
视频人
8图2.2卷积神经网络结构图卷积神经网络由输入层、卷积层、下采样（池化层）、全连接层和输出层组成。卷积层和下采样层的交替组合可构建不同深度的网络。根据不同情况下的需求全连接层后面可接softmax层或SVM算法对网络的输出以概率形式表达出来，输出最后的分类结果。(1)卷积运算卷积运算是卷积神经网络中的主要计算部分。CNN的卷积层操作即对图像的局部感受野进行卷积操作。卷积层中下一层的神经元无需和上一层所有神经元连接，只需连接部分神经元。然后将滤波器计算的局部加权和传递给激活函数（Relu）得出不同通道的特征图。CNN的权值共享特点使卷积层的每组连接权重相同，卷积操作去掉了大量多余的参数，减小网络的复杂度，来达到更好的训练效果。卷积层中滤波器的个数正好对应了特征图的通道数。因此运算过后可以发现，滤波器的深度与特征图的深度是一致的。卷积运算在向前传播过程中，滤波器根据人为设定的步幅（stride）沿着输入图像的宽度和高度滑动，在每个位置计算滤波器与输入值的点积，最后产生一个二维矩阵特征图。计算如图2.3所示。输入6×6的图像，选择3×3的滤波器（Filter），步幅(Stride)设置为1，输出矩阵中第一个元素的计算过程如下：（4×1+9×0+2×-1）+（5×1+6×0+2×-1）+（2×1+4×0+5×-1）=2图2.3卷积运算
8图2.2卷积神经网络结构图卷积神经网络由输入层、卷积层、下采样（池化层）、全连接层和输出层组成。卷积层和下采样层的交替组合可构建不同深度的网络。根据不同情况下的需求全连接层后面可接softmax层或SVM算法对网络的输出以概率形式表达出来，输出最后的分类结果。(1)卷积运算卷积运算是卷积神经网络中的主要计算部分。CNN的卷积层操作即对图像的局部感受野进行卷积操作。卷积层中下一层的神经元无需和上一层所有神经元连接，只需连接部分神经元。然后将滤波器计算的局部加权和传递给激活函数（Relu）得出不同通道的特征图。CNN的权值共享特点使卷积层的每组连接权重相同，卷积操作去掉了大量多余的参数，减小网络的复杂度，来达到更好的训练效果。卷积层中滤波器的个数正好对应了特征图的通道数。因此运算过后可以发现，滤波器的深度与特征图的深度是一致的。卷积运算在向前传播过程中，滤波器根据人为设定的步幅（stride）沿着输入图像的宽度和高度滑动，在每个位置计算滤波器与输入值的点积，最后产生一个二维矩阵特征图。计算如图2.3所示。输入6×6的图像，选择3×3的滤波器（Filter），步幅(Stride)设置为1，输出矩阵中第一个元素的计算过程如下：（4×1+9×0+2×-1）+（5×1+6×0+2×-1）+（2×1+4×0+5×-1）=2图2.3卷积运算
【参考文献】：
期刊论文
[1]面向人体动作识别的局部特征融合时间卷积网络[J]. 宋震,周元峰,贾金公,辛士庆,刘毅. 计算机辅助设计与图形学学报. 2020(03)
[2]基于改进3D卷积神经网络的行为识别[J]. 张小俊,李辰政,孙凌宇,张明路. 计算机集成制造系统. 2019(08)
[3]基于双流卷积神经网络的人体行为识别方法[J]. 刘云,张堃,王传旭. 计算机系统应用. 2019(07)
[4]基于深度学习的视频中人体动作识别进展综述[J]. 罗会兰,童康,孔繁胜. 电子学报. 2019(05)
[5]一种融合全局时空特征的CNNs动作识别方法[J]. 王珂,武军,周天相,李瑞峰. 华中科技大学学报(自然科学版). 2018(12)
[6]基于最优Atlas多模态图像的非刚性配准分割算法[J]. 石跃祥,陈才. 光学学报. 2019(04)
[7]多尺度输入3D卷积融合双流模型的行为识别方法[J]. 宋立飞,翁理国,汪凌峰,夏旻. 计算机辅助设计与图形学学报. 2018(11)
[8]融合空间-时间双网络流和视觉注意的人体行为识别[J]. 刘天亮,谯庆伟,万俊伟,戴修斌,罗杰波. 电子与信息学报. 2018(10)
[9]结合有序光流图和双流卷积网络的行为识别[J]. 李庆辉,李艾华,王涛,崔智高. 光学学报. 2018(06)
[10]非等间隔采样信号傅里叶频谱分析方法[J]. 方建超,毛雪松. 计算机应用. 2016(02)
硕士论文
[1]基于深度学习的视频人体行为识别研究[D]. 董博源.西安理工大学 2019
[2]基于深度学习的视频行为识别研究[D]. 石仕伟.浙江大学 2018
本文编号：3037210
【文章来源】：湘潭大学湖南省
【文章页数】：54 页
【学位级别】：硕士
【部分图文】：
视频人
8图2.2卷积神经网络结构图卷积神经网络由输入层、卷积层、下采样（池化层）、全连接层和输出层组成。卷积层和下采样层的交替组合可构建不同深度的网络。根据不同情况下的需求全连接层后面可接softmax层或SVM算法对网络的输出以概率形式表达出来，输出最后的分类结果。(1)卷积运算卷积运算是卷积神经网络中的主要计算部分。CNN的卷积层操作即对图像的局部感受野进行卷积操作。卷积层中下一层的神经元无需和上一层所有神经元连接，只需连接部分神经元。然后将滤波器计算的局部加权和传递给激活函数（Relu）得出不同通道的特征图。CNN的权值共享特点使卷积层的每组连接权重相同，卷积操作去掉了大量多余的参数，减小网络的复杂度，来达到更好的训练效果。卷积层中滤波器的个数正好对应了特征图的通道数。因此运算过后可以发现，滤波器的深度与特征图的深度是一致的。卷积运算在向前传播过程中，滤波器根据人为设定的步幅（stride）沿着输入图像的宽度和高度滑动，在每个位置计算滤波器与输入值的点积，最后产生一个二维矩阵特征图。计算如图2.3所示。输入6×6的图像，选择3×3的滤波器（Filter），步幅(Stride)设置为1，输出矩阵中第一个元素的计算过程如下：（4×1+9×0+2×-1）+（5×1+6×0+2×-1）+（2×1+4×0+5×-1）=2图2.3卷积运算
8图2.2卷积神经网络结构图卷积神经网络由输入层、卷积层、下采样（池化层）、全连接层和输出层组成。卷积层和下采样层的交替组合可构建不同深度的网络。根据不同情况下的需求全连接层后面可接softmax层或SVM算法对网络的输出以概率形式表达出来，输出最后的分类结果。(1)卷积运算卷积运算是卷积神经网络中的主要计算部分。CNN的卷积层操作即对图像的局部感受野进行卷积操作。卷积层中下一层的神经元无需和上一层所有神经元连接，只需连接部分神经元。然后将滤波器计算的局部加权和传递给激活函数（Relu）得出不同通道的特征图。CNN的权值共享特点使卷积层的每组连接权重相同，卷积操作去掉了大量多余的参数，减小网络的复杂度，来达到更好的训练效果。卷积层中滤波器的个数正好对应了特征图的通道数。因此运算过后可以发现，滤波器的深度与特征图的深度是一致的。卷积运算在向前传播过程中，滤波器根据人为设定的步幅（stride）沿着输入图像的宽度和高度滑动，在每个位置计算滤波器与输入值的点积，最后产生一个二维矩阵特征图。计算如图2.3所示。输入6×6的图像，选择3×3的滤波器（Filter），步幅(Stride)设置为1，输出矩阵中第一个元素的计算过程如下：（4×1+9×0+2×-1）+（5×1+6×0+2×-1）+（2×1+4×0+5×-1）=2图2.3卷积运算
【参考文献】：
期刊论文
[1]面向人体动作识别的局部特征融合时间卷积网络[J]. 宋震,周元峰,贾金公,辛士庆,刘毅. 计算机辅助设计与图形学学报. 2020(03)
[2]基于改进3D卷积神经网络的行为识别[J]. 张小俊,李辰政,孙凌宇,张明路. 计算机集成制造系统. 2019(08)
[3]基于双流卷积神经网络的人体行为识别方法[J]. 刘云,张堃,王传旭. 计算机系统应用. 2019(07)
[4]基于深度学习的视频中人体动作识别进展综述[J]. 罗会兰,童康,孔繁胜. 电子学报. 2019(05)
[5]一种融合全局时空特征的CNNs动作识别方法[J]. 王珂,武军,周天相,李瑞峰. 华中科技大学学报(自然科学版). 2018(12)
[6]基于最优Atlas多模态图像的非刚性配准分割算法[J]. 石跃祥,陈才. 光学学报. 2019(04)
[7]多尺度输入3D卷积融合双流模型的行为识别方法[J]. 宋立飞,翁理国,汪凌峰,夏旻. 计算机辅助设计与图形学学报. 2018(11)
[8]融合空间-时间双网络流和视觉注意的人体行为识别[J]. 刘天亮,谯庆伟,万俊伟,戴修斌,罗杰波. 电子与信息学报. 2018(10)
[9]结合有序光流图和双流卷积网络的行为识别[J]. 李庆辉,李艾华,王涛,崔智高. 光学学报. 2018(06)
[10]非等间隔采样信号傅里叶频谱分析方法[J]. 方建超,毛雪松. 计算机应用. 2016(02)
硕士论文
[1]基于深度学习的视频人体行为识别研究[D]. 董博源.西安理工大学 2019
[2]基于深度学习的视频行为识别研究[D]. 石仕伟.浙江大学 2018
本文编号：3037210
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3037210.html
最近更新
教材专著
