基于多模态数据的联合多任务多属性学习3D行为识别

发布时间：2022-07-08 14:26

　　3D行为识别在图像检索、智能监控、人机交互等领域有广阔的应用前景,是近年来人工智能领域的研究热点,经过国内外学者的不懈努力,取得了长足发展,但由于非理想的成像条件和动作内容的复杂多变,3D行为识别仍有许多亟待解决的问题:如动作序列缺乏统一有效的特征描述、低层图像特征和高层动作类别之间的语义鸿沟、缺少可靠的语义特征时域分析模型等。针对上述问题,拟在两个方面展开研究:1)基于动作序列的RGBD多模式数据特性,研究通过多卷积神经网络获得3D动作的多时空表达;2)研究运用图模型描述动作视觉属性间的语义和几何关系,来约束多任务联合语义属性优化学习,消除语义鸿沟;最终实现3D动作序列的复杂行为识别。 

【文章页数】：54 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 课题背景和意义
    1.2 从视频序列中建模3D人体运动的问题
    1.3 使用3D数据进行人类动作识别
        1.3.1 构建3D数据方法
        1.3.2 传统立体视觉动作识别方法
    1.4 本文主要内容
第二章 人体骨架流形时空特征的提取
    2.1 引言
    2.2 基于人体部位之间相对几何关系的三维人体骨架表示方法
    2.3 基于动态时间规整的速率变化建模方法
    2.4 基于旋转运动的插值方法
    2.5 基于傅里叶时序金字塔的时序模式表示方法
    2.6 本章小结
第三章 多模式数据的多任务多属性联合学习行为识别
    3.1 引言
    3.2 人体骨架的流形时空特征提取
    3.3 基于多卷积神经网络的序列段多模式齐次时空特征监督学习框架
    3.4 属性关联图约束的保语义多任务联合属性学习方法
    3.5 实验
        3.5.1 实验数据集
        3.5.2 对MSRAction3D数据集进行实验与分析
        3.5.3 对UTD-MHAD数据集进行实验与分析
        3.5.4 对UTKinect-Action3D数据集进行实验与分析
    3.6 本章小结
第四章 总结与展望
    4.1 本文工作总结
    4.2 未来工作展望
参考文献
致谢



本文编号：3657194