基于双流神经网络的人体行为识别方法研究

发布时间：2021-04-24 20:56

　　传统的人体行为识别方法,通常构造人造特征进行行为识别。然而人造特征通常抽象能力不足,对于复杂的行为视频描述能力有限。随着近几年深度学习在计算机视觉领域的发展,基于深度学习的行为识别方法获得了国内外学者的广泛关注。相比于基于人造特征的方法,深度神经网络具有强大的自学习能力,能够挖掘数据内部抽象的深层信息。双流神经网络是目前基于深度学习人体行为识别研究的重点之一。目前基于双流神经网络的方法通常将识别任务分为静态流和动态流。论文分别研究了双流神经网络中的动态流部分和静态流部分,其中动态流是通过对视频中的包含运动信息的光流进行特征提取获取动态信息,静态流是对视频帧中的静态信息进行抽象提取获取静态信息。论文针对动态流研究了一个多级时间注意力动态流网络,由短时网络、中时网络、长时网络和时长网络组成。短时网络以连续两帧之间的光流作为输入,针对于捕捉连续帧之间的短时运动信息。同时构建短时注意力模块,突出更具代表性时刻短时信息的贡献。中时网络以连续多帧的光流叠加作为输入,针对于捕捉连续多帧包含的中时运动信息。同时构建中时注意力机制,突出更具鉴别性时刻中时信息的贡献。长时网络面向整个视频序列,利用LSTM... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 基于人造特征的人体行为识别方法
        1.2.2 基于深度学习的人体行为识别方法
    1.3 本文主要研究内容
    1.4 本文的组织结构
第二章 相关理论模型
    2.1 基于深度学习的人体行为识别
    2.2 框架设计和算法实现
        2.2.1 光流提取算法
        2.2.2 卷积神经网络
        2.2.3 双流神经网络
        2.2.4 基本网络架构
        2.2.5 网络训练
        2.2.6 深度学习工具
    2.3 数据集介绍
    2.4 本章小结
第三章 多级时间注意力动态流网络
    3.1 问题概述
    3.2 框架设计与算法实现
        3.2.1 短时网络
        3.2.2 中时网络
        3.2.3 长时网络
        3.2.4 多级时间注意力网络
    3.3 实验设计和结果分析
        3.3.1 数据集简述
        3.3.2 实验参数设置
        3.3.3 动态流实验
        3.3.4 基于本文动态流网络的行为识别实验
    3.4 本章小结
第四章 多层引导注意力静态流网络
    4.1 问题概述
    4.2 框架设计和算法实现
        4.2.1 抽取全局特征和局部特征
        4.2.2 构建全局注意力和局部注意力
        4.2.3 构建注意力引导损失
        4.2.4 注意力引导网络
    4.3 参数设置
    4.4 实验设计和结果分析
        4.4.1 多层引导注意力网络参数选择
        4.4.2 静态流实验
        4.4.3 静态流可视化
        4.4.4 静态流比较实验
        4.4.5 利用双流网络进行人体行为识别的结果
        4.4.6 本文采用的对比算法简介
    4.5 本章小结
第五章 总结与展望
    5.1 本文工作总结
    5.2 未来工作展望
参考文献
致谢
作者简介



本文编号：3158063