基于深度学习的人体行为识别研究

发布时间：2024-02-13 23:40

　　人体行为识别是当前一个热门研究方向,已被广泛应用在各种基于视频内容的智能化领域。近年来,深度学习在多个领域发展迅速,许多国内外学者基于深度学习对人体行为识别展开研究,并获得了很大进展。但视频场景复杂多变,人体行为识别技术还面临着很多挑战。目前基于深度学习的行为识别方法还存在特征提取不充分、特征含有大量冗余信息以及单模态信息难以对视频行为充分表达等问题,因此,本文以双流网络为依据,研究两种人体行为识别模型来提高行为识别性能。本文的主要工作如下:1.针对双流网络对长视频序列建模效果差、特征提取不充分的问题,提出了基于视频分段和改进残差网络的人体行为识别模型。为实现对长视频建模,在该模型中引入时间分段思想,对输入视频进行等时分段,并在后期融合各分段预测得分,形成视频级预测。其次,为提高网络特征提取能力,对提取时空特征的Res Net-34网络的残差模块进行改进,引入了注意力-多路残差模块,将原残差模块中的Relu激活函数替换成了Mish激活函数,在单条通路的结构上增加了另外两条并行的特征提取通路,并嵌入注意力机制,让网络关注到关键区域特征。此外,为进一步提高行为识别性能,选取每个片段中图像信...

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 基于传统方法的行为识别研究现状
        1.2.2 基于深度学习的行为识别研究现状
    1.3 本文研究内容
    1.4 论文结构安排
第二章 人体行为识别基础
    2.1 深度学习技术基础
        2.1.1 神经元
        2.1.2 卷积神经网络
        2.1.3 循环神经网络
    2.2 基于深度学习的经典人体行为识别方法
        2.2.1 基于双流网络的人体行为识别方法
        2.2.2 基于RNN的人体行为识别方法
        2.2.3 基于3D卷积神经网络的人体行为识别方法
    2.3 注意力机制
        2.3.1 注意力机制概述
        2.3.2 SE模块
        2.3.3 CBAM模块
    2.4 人体行为识别常用数据集
    2.5 本章小结
第三章 基于视频分段和改进残差网络的人体行为识别
    3.1 视频预处理
        3.1.1 片段关键帧提取
        3.1.2 光流提取
        3.1.3 数据增强
    3.2 残差网络
        3.2.1 残差模块
        3.2.2 ResNet-34网络
    3.3 人体行为识别模型
    3.4 改进ResNet-34网络
        3.4.1 Mish激活函数
        3.4.2 CA模块
        3.4.3 注意力-多路残差模块
    3.5 片段融合和时空融合
    3.6 实验及结果分析
        3.6.1 数据集
        3.6.2 实验环境及参数设置
        3.6.3 实验分析
    3.7 本章小结
第四章 基于GRU和多模态信息融合的人体行为识别
    4.1 人体骨骼图提取
    4.2 人体行为识别模型
    4.3 GRU网络
    4.4 多模态信息融合
    4.5 实验及结果分析
        4.5.1 数据集
        4.5.2 实验环境及参数设置
        4.5.3 实验分析
    4.6 本章小结
第五章 总结与展望
    5.1 工作总结
    5.2 未来展望
参考文献
附录1 攻读硕士学位期间申请的专利
致谢



本文编号：3897397