基于深度学习的人体骨架运动序列行为识别

发布时间：2021-04-22 23:27

　　人体行为识别是计算机视觉和人工智能等领域的重点研究方向。其研究成果广泛应用于智能监控、人机交互、运动分析、虚拟现实等领域,具有重要的学术研究意义与巨大的市场应用潜力。针对日常生活视频下的人体动作识别任务,为了保留动作在真实场景下的时间和空间维度上的更多特征,通过基于视频中人体行为时空运动特征,设计了融合以人体骨架、RGB图和光流作为输入,具有时序性的行为识别神经网络框架TS-IC3D-LSTM。在自建数据库上验证了文中算法的有效性,并在UCF101数据集上验证了文中算法相对于其它相关算法的优越性。主要研究内容如下:（1）为了降低外界光照、遮挡等因素对特征提取的影响。首先,通过特征提取模块提取目标视频序列中的人体骨架特征,得到人体骨架运动序列。对骨架关节点坐标归一化以消除人体的绝对空间位置对识别过程的影响。然后通过简单的平滑滤波器对骨架关节点进行滤波,以提高信噪比。最后对人骨架进行特征表征,以表征矩阵的形式输出。（2）为了解决单一特征在描述视频中人体行为时存在特征表征不足的问题。通过融合RGB图和人体骨架运动序列共同表征空间信息,加入光流表征时间信息。为了解决视频数据中的计算冗余问题,还... 

【文章来源】：广东工业大学广东省

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
        1.2.3 基于深度学习的行为识别
    1.3 主要研究内容
    1.4 论文篇章结构
第二章 人体行为识别理论基础
    2.1 传统方法
        2.1.1 背景减除法
        2.1.2 帧间差分法
        2.1.3 光流法
    2.2 深度学习基础知识
    2.3 卷积神经网络
    2.4 长短时记忆神经网络
    2.5 Temporal Segment Networks
    2.6 长期循环卷积神经网络
    2.7 本章小结
第三章 基于TS-IC3D-LSTM的行为识别算法研究
    3.1 算法设计思路
    3.2 人体骨架特征表征
    3.3 TS-IC3D-LSTM网络设计
        3.3.1 TS-IC3D-LSTM整体网络结构
        3.3.2 特征提取模块
        3.3.3 子网络模块
        3.3.4 全连接层及Softmax分类层
    3.4 算法模型评估
    3.5 过拟合问题及网络优化
    3.6 本章小结
第四章 模型训练与实验结果分析
    4.1 实验环境
    4.2 数据库介绍
    4.3 网络模型训练
        4.3.1 数据预处理
        4.3.2 网络参数设置
        4.3.3 模型训练及性能测试
    4.4 实验结果分析
        4.4.1 本文算法结果
        4.4.2 与相关算法的比较
        4.4.3 相关因素对算法识别性能的影响
    4.5 本章小结
第五章 总结与展望
    5.1 工作总结
    5.2 工作展望
参考文献
攻读硕士学位期间所发表的论文
致谢



本文编号：3154647