基于卷积神经网络的人体行为分析与步态识别研究

发布时间：2022-08-07 18:23

　　利用人工智能的方法分析人体行为动作,使得机器能够感知人体状态和运动意图,在安防监控、人机交互、数字娱乐等领域都拥有广阔的应用前景,受到业界广泛关注;另外,随着计算机计算能力的提升以及互联网上大规模有价值数据的产生,深度学习特别是深度卷积神经网络迎来了较大的发展。本文将利用深度卷积神经网络的强大层次化表征能力,围绕人体行为分析与步态识别这一主题,重点关注面向视频序列的人体姿态感知,面向序列化信号的人体动作建模与识别以及面向序列化信号的人体步态识别,这三个方向的应用研究。主要包含如下3点研究内容:（1）面向视频序列的人体姿态感知利用深度卷积神经网络求解SMPL人体模参数与相机参数以实现人体三维姿态感知。针对生成人体模型不正常的问题,借鉴对抗生成网络的思想取代繁琐的手工规则,来约束生成的三维人体模型;针对生成人体三维姿态序列抖动和求解不唯一的问题,结合视频帧之间一致性约束、初始状态约束以及人体高度约束来得到更精确的人体三维姿态;为验证所提出方法的有效性,将其与两台Kinect（V2）和ipiSoft系列软件搭建的动作捕获平台获得的数据进行对比,分别验证了在动作捕获实验中不同速度、不同位置、不... 

【文章页数】：173 页

【学位级别】：博士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景与意义
        1.1.1 研究的理论价值
        1.1.2 研究的应用价值
    1.2 论文研究内容与组织结构
        1.2.1 论文研究内容
        1.2.2 论文组织结构
第2章 人体行为分析及步态识别研究综述
    2.1 人体姿态感知
        2.1.1 人体二维姿态感知
        2.1.2 人体三维姿态感知
    2.2 序列化人体动作信号的建模与识别
        2.2.1 面向视觉数据的人体动作建模与识别
        2.2.2 面向生理数据的人体动作建模与识别
    2.3 人体步态识别
        2.3.1 基于步态轮廓的方法
        2.3.2 基于可穿戴传感器的方法
        2.3.3 基于人体姿态的方法
    2.4 深度卷积神经网络
第3章 面向视频序列的人体三维姿态感知
    3.1 概述
    3.2 问题描述
    3.3 基于视频序列的人体三维姿态感知
        3.3.1 单张图片的人体二维姿态感知
        3.3.2 单张图片人体三维姿态恢复
        3.3.3 基于视频序列的人体姿态生成
    3.4 实验结果与性能分析
        3.4.1 实验数据采集与实验细节说明
        3.4.2 实验结果及分析
    3.5 基于人体姿态感知的应用(以舞蹈评分小程序为例)
        3.5.1 舞蹈评分小程序整体功能介绍
        3.5.2 舞蹈评分小程序软件技术架构
        3.5.3 舞蹈评分小程序存在的问题及改进计划
    3.6 小结
第4章 面向序列化信号的人体动作建模与识别
    4.1 概述
    4.2 问题描述
    4.3 基于人体三维姿态的动作建模与识别
        4.3.1 具有时空特性的骨骼特征图生成
        4.3.2 基于深度卷积神经网络的人体动作建模与识别
        4.3.3 参考物体检测的人体动作检测
    4.4 基于人体三维姿态的动作识别验证
        4.4.1 实验数据集与实验细节说明
        4.4.2 实验结果与分析
    4.5 基于脑电信号的动作建模与识别
        4.5.1 实验数据采集与细节说明
        4.5.2 脑电信号预处理
        4.5.3 深度卷积神经网络的构建
    4.6 基于脑电信号的动作识别验证
        4.6.1 实验数据集与实验细节说明
        4.6.2 实验结果与分析
    4.7 小结
第5章 面向序列化信号的人体步态识别
    5.1 概述
    5.2 问题描述
    5.3 结合深度卷积特征与联合贝叶斯的解决方案
        5.3.1 步态周期提取
        5.3.2 深度卷积神经网络结构
        5.3.3 步态特征提取
        5.3.4 结合联合贝叶斯的步态验证
        5.3.5 结合联合贝叶斯的步态鉴别
        5.3.6 实验结果与性能分析
    5.4 结合人体姿态感知与序列化信号建模和识别的解决方案
        5.4.1 实验数据采集与实验细节说明
        5.4.2 基于多任务学习深度卷积模型训练
        5.4.3 实验结果与分析
    5.5 小结
第6章 总结和展望
    6.1 总结
    6.2 主要贡献与创新点
    6.3 展望
参考文献
攻读博士学位期间主要的研究成果
致谢
附录
    附录一: json文件格式
    附录二: 求解训练过程的中间过程结果展示
    附录三: 动作捕获实验情况告知书
    附录四: BVH格式解析后的骨架层次关系
    附录六: 不同识别方法在交叉角度下的CMC曲线(OULP)
    附录七: 不同识别方法在交叉角度下的ROC曲线(OULP)


【参考文献】：
期刊论文
[1]步态识别的深度学习:综述[J]. 何逸炜,张军平.  模式识别与人工智能. 2018(05)
[2]基于卷积神经网络的脑电信号上肢运动意图识别[J]. 王卫星,孙守迁,李超,唐智川.  浙江大学学报(工学版). 2017(07)
[3]基于深度卷积神经网络的运动想象分类及其在脑控外骨骼中的应用[J]. 唐智川,张克俊,李超,孙守迁,黄琦,张三元.  计算机学报. 2017(06)

博士论文
[1]基于单角色视频的人物运动分析[D]. 李伟.山东大学 2018
[2]基于视觉的三维人体运动分析[D]. 余家林.华南理工大学 2018
[3]单目视频中目标的三维运动跟踪方法研究[D]. 陈伟.华南理工大学 2017
[4]视频中人体姿态估计、跟踪与行为识别研究[D]. 马淼.山东大学 2017
[5]基于深度机器学习的体态与手势感知计算关键技术研究[D]. 杜宇.浙江大学 2017
[6]人体步态及行为识别关键算法研究[D]. 杨旗.东北大学 2012



本文编号：3670818