基于运动学描述子和深度学习的行为识别新框架

发布时间：2021-05-08 01:19

　　视频序列中的人体行为识别作为机器学习领域的热点和难点之一,已经引起了认知科学、生物学以及计算机科学等各个学科的广泛关注,同时,已成功应用于视频监控、零售分析和医疗诊断等各个行业。目前,简单场景和摄像机固定条件下的行为识别已经取得了相当好的性能。然而,对于从电影、电视和其他媒体平台上收集得到的真实视频,识别准确率还远远没有达到期望的要求。这是因为真实场景下的行为视频中通常存在着巨大的类内差异性和类间相似性,以及大量复杂背景。因此,如何设计有效的特征表示对于视频中的行为识别是至关重要的。本文在充分分析和学习现有方法的基础上,构建了一种基于运动学描述子和深度学习的行为识别新框架。（1）通过对视频光流场的动力学特性进行探索,构建了一组更具判别性的运动学场,包括:光流时空梯度场、散度场、旋度场、切变场、对称场以及非对称场。在此基础上,通过探索特征与其邻域信息之间的相关性,构建了一个新的运动学自相关描述子。该描述子能够很好地获取光流场的时空几何特性,具有较强的运动细节及运动空间描述能力。同时,通过探索底层运动学特征之间的关系,构建了一个新的运动学协方差描述子。该描述子具有很好的紧凑性和判别性,在实... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 论文主要研究内容及章节安排
第二章 人体行为识别相关工作介绍
    2.1 引言
    2.2 基于人工特征的行为识别方法
        2.2.1 静态人工特征
        2.2.2 动态人工特征
    2.3 基于深度学习的行为识别方法
        2.3.1 双流卷积网络
        2.3.2 3D卷积网络
    2.4 本章小结
第三章 一种基于运动学描述子的人体行为识别方法
    3.1 引言
    3.2 运动学场提取
        3.2.1 稠密光流提取
        3.2.2 光流时空梯度场提取
        3.2.3 散度场和旋度场提取
        3.2.4 切变场提取
        3.2.5 对称场和非对称场提取
    3.3 构建运动学自相关描述子
    3.4 构建运动学协方差描述子
        3.4.1 底层特征提取
        3.4.2 构建运动学协方差描述子
    3.5 运动学描述子用于行为识别
        3.5.1 Fisher编码
        3.5.2 主成分分析
        3.5.3 人体行为识别
    3.6 本章小结
第四章 基于运动学描述子和深度学习的行为识别新框架
    4.1 引言
    4.2 深度残差网络
        4.2.1 残差模块
        4.2.2 深度残差网络的结构与训练方式
    4.3 融合注意力机制的深度残差网络
        4.3.1 多通道软注意力机制
        4.3.2 融合注意力机制的深度残差网络
    4.4 构建深度静态描述子
    4.5 基于运动学描述子和深度学习的行为识别新框架
    4.6 实验与分析
        4.6.1 数据库介绍
        4.6.2 参数设置与数据库划分
        4.6.3 基于人工运动学描述子的行为识别实验
        4.6.4 正则项参数选择实验
        4.6.5 基于深度静态描述子的行为识别实验
        4.6.6 基于新框架的行为识别实验
        4.6.7 特征可视化
    4.7 本章小结
第五章 全文总结与展望
    5.1 全文总结
    5.2 未来展望
参考文献
致谢
作者简介



本文编号：3174396