基于多模态信息融合的人体动作识别方法研究

发布时间：2021-10-12 13:06

　　“察言观色”是正常人类的基本生活交流能力,对人类动作和行为的分析和理解是现代心理学的主要研究内容之一。随着人工智能的发展和人类计算能力的提升,人体动作识别逐渐成为计算机视觉以及图像处理领域的研究热点之一,该方向不仅拥有重要的理论研究价值,还有着广泛的应用前景。其主要原因是人体动作识别在人机交互、健康监护、智能安防、视频分析等研究领域中的潜在应用价值。本论文依托于国家自然科学基金面上项目《基于RGBD图像序列和加速度信号融合的人体动作识别方法研究》,开展了对面向复杂现实场景下多模态信息融合需求的人体动作识别问题的研究。本论文将课题从两方面展开即:“基于单模态数据异构特征信息融合的人体动作识别”与“基于多模态数据异构特征信息融合的人体动作识别”。首先,对于单一模态数据下的动作识别,本论文的主要工作和贡献如下:（1）基于加速度数据的时频域特征融合的人体动作识别方法。本文提出了基于加速度数据的时频域特征融合的识别方法,提取加速度数据的频域特征即短时傅里叶变换（FFT）。实验分析得知其对身体局部小动作和四肢大动作的区分度很高,但是其较难区分对动作频率敏感的动作。然后提取加速度数据的时频域特征即小... 

【文章来源】：中国科学院大学(中国科学院深圳先进技术研究院)广东省

【文章页数】：82 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究概况
        1.2.1 基于单模态数据异构特征信息融合的人体动作识别研究
        1.2.2 基于多模态数据异构特征信息融合的人体动作识别研究
    1.3 基于多模态信息融合的人体动作识别研究内容与难点
    1.4 论文框架与组织结构
第2章 基于多模态信息融合的人体动作识别研究的相关知识
    2.1 人体动作识别研究的相关知识
        2.1.1 底层特征提取与表示方法
        2.1.2 人体动作识别在深度学习中的典型网络框架
    2.2 多模态信息融合研究的相关知识
        2.2.1 多模态像素级别融合方法
        2.2.2 多模态特征级别融合方法
        2.2.3 多模态分数级别融合方法
    2.3 人体动作识别公共数据集
        2.3.1 实验室数据集
        2.3.2 网络数据集
    2.4 本章小结
第3章 基于单模态数据异构特征信息融合的人体动作识别
    3.1 基于加速度数据的时频域特征融合的人体动作识别方法
        3.1.1 加速度数据预处理
        3.1.2 基于时频域分析的特征提取与表示方法
        3.1.3 实验整体设计
        3.1.4 实验分析与讨论
        3.1.5 方法小结
    3.2 基于骨架数据的时空特征融合的人体动作识别方法
        3.2.1 基于角度空间的几何特征表示方法
        3.2.2 基于骨架节点动量的特征表示方法
        3.2.3 实验整体设计
        3.2.4 实验分析与讨论
        3.2.5 方法小结
    3.3 本章小结
第4章 基于多模态数据异构特征信息融合的人体动作识别
    4.1 基于相关分析的多模态异构特征信息融合的人体动作识别方法
        4.1.1 实验整体设计
        4.1.2 实验分析与讨论
    4.2 本章小结
第5章 多模态人体动作识别采集系统平台
    5.1 采集系统平台概述
        5.1.1 软件系统设计
        5.1.2 硬件环境要求
    5.2 基于实验室环境的多模态交叉视角人体动作识别数据集
        5.2.1 数据集概述
        5.2.2 采集设备搭建
        5.2.3 数据模态
    5.3 模拟真实世界的大型多模态长序列人体动作识别数据集
        5.3.1 数据集采集的必要性分析
        5.3.2 动作类别设计
        5.3.3 采集设备搭建
        5.3.4 采集过程设计
        5.3.5 数据模态
        5.3.6 数据标注
        5.3.7 测试协议
        5.3.8 数据集特性分析
        5.3.9 与现有数据集的对比
    5.4 本章小结
第6章 总结与展望
    6.1 工作总结
    6.2 未来展望
参考文献
致谢
作者简历及攻读学位期间发表的学术论文与研究成果



本文编号：3432636