基于骨架信息的行为识别技术研究

发布时间：2023-03-07 18:11

　　在计算机视觉领域,基于骨架信息的行为识别是近几年热门的研究方向。它在智能安防、人机交互等诸多方面都有应用场景。人体骨架信息数据相比RGB视频数据更轻量,这使得用更轻量的算法去获取更优的识别性能成为可能。论文首先调研了国内外关于该任务的研究现状,然后分析了经典图卷积网络中构造骨架关节点之间依赖关系的几种方式以及它们的优缺点。在此基础上,论文提出了骨架关节点依赖关系推理网络(Joints-dependencice Inference Network,JIN)和骨架关节点上下文信息编码网络(Context-encoidng Network,Ce N)。这两种网络可以根据骨架序列的时空变化自动地为每一个样本推理一个骨架序列的邻接矩阵。其中JIN根据骨架序列的时空变化推理任意两个骨架关节点之间的依赖关系从而为每一个骨架序列构造对称的邻接矩阵,Ce N则从全局上下文信息的角度为每一个骨架序列构造非对称的邻接矩阵。这两种网络可以和图卷积网络构成端到端的网络框架JIN-SGCN和Dynamic GCN。在NTU-RGB+D数据集的跨对象划分规则中,相比经典的ST-GCN算法,这两个算法单模型识别准确率...

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
ABSTRACT
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 基于人工设计特征的算法
        1.2.2 基于深度学习的算法
    1.3 本论文主要研究的内容和章节安排
    1.4 本论文主要的创新点
2 骨架关节点依赖关系自适应的图卷积网络
    2.1 图卷积网络概述
        2.1.1 图卷积网络整体概述
        2.1.2 图卷积网络在基于骨架信息的行为识别中的应用
    2.2 骨架关节点依赖关系推理网络
        2.2.1 典型骨架关节点依赖关系构造存在的问题与基础改进
        2.2.2 骨架关节点依赖关系推理网络设计
        2.2.3 实验细节与结果分析
    2.3 骨架关节点上下文信息编码网络设计
        2.3.1 骨架关节点上下文信息学习
        2.3.2 骨架关节点上下文编码网络(CeN)设计
        2.3.3 动态图卷积网络框架
        2.3.4 实验结果与分析
    2.4 本章小节
3 增强版共现特征学习网络
    3.1 分组卷积和深度可分离卷积技术概述
        3.1.1 分组卷积技术
        3.1.2 深度可分离卷积
    3.2 用图卷积的思路指导卷积神经网络学习
        3.2.1 图卷积网络和带通道置换的卷积神经网络的理论联系
        3.2.2 增强版共现特征学习网络设计
    3.3 实验结果和分析
    3.4 本章小结
4 基于骨架信息的行为识别整体系统流程设计
    4.1 骨架信息获取的两种方式
        4.1.1 基于深度相机的获取方式
        4.1.2 基于姿势估计算法的获取方式
    4.2 基于骨架信息的行为识别整体系统设计
        4.2.1 RGB视频数据处理模块设计
        4.2.2 基于Open Pose框架的骨架信息提取和数据处理模块设计
        4.2.3 基于骨架信息的行为识别及可视化
    4.3 监控场景和现场模拟数据测试结果
    4.4 本章小结
5 总结与展望
    5.1 工作总结
    5.2 后续工作展望
参考文献
作者在攻读硕士学位期间的科研成果



本文编号：3757644