基于多模态特征融合的人体行为识别

发布时间：2021-02-03 21:46

　　近年来,视频中的人体行为识别成为了计算机视觉领域的一项重要研究课题,其在行为检测、智能视频监控、医疗等领域都有着广泛的应用价值。同时,视频中的动作受光照、视角的影响,且同类别之间还存在类内差异大等干扰因素,让视频中的人体行为识别的研究难度加大。因此需要不断地研究出新的方法,来找到具有代表性的特征,从而对视频中的行为进行识别,这也是这项任务的关键点之一。比图像分类更难的是,视频分类不仅要捕获空间的外观特征,还要捕获各个视频帧序列之间的时间信息。鉴于深度学习方法近几年在图像处理领域取得的巨大成功,许多的研究者在深度学习的基础之上进行了视频的时空特征研究。然而,单一的特征模式在视频行为识别中并未取得最佳效果。对此,本文提出了多模态的特征融合方法来处理这项任务。本文所做工作如下:（1）基于人体行为识别这项课题展开广泛调研,总结了这项课题的国内外研究现状,在研究前人的方法时发现单一特征存在的一些问题,针对特征表示提出了多模态特征融合的思路。（2）为解决单一特征的表示性不足等缺点,提出了基于深度网络和特征融合的人体行为识别方法。此方法利用卷积神经网络（convolutional neural ne... 

【文章来源】：湘潭大学湖南省

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 行为识别数据集
        1.2.2 行为识别研究方法现状
    1.3 问题的提出
        1.3.1 关于方法的系统结构
        1.3.2 关于系统的输入模态
    1.4 本文的研究内容
    1.5 本文组织结构
第2章 行为识别算法结构设计
    2.1 引言
    2.2 基于卷积神经网络空间特征提取
    2.3 基于LSTM的时间特征提取
        2.3.1 RNN基础
        2.3.2 LSTM基础
    2.4 行为识别分类器
        2.4.1 支持向量机
        2.4.2 极限学习机
    2.5 本章小结
第3章 基于深度网络和特征融合的行为识别
    3.1 引言
    3.2 基于深度网络和特征融合方法的框架
        3.2.1 LSTM-CNN网络
        3.2.2 XOR-CNN网络
    3.3 实验结果和数据分析
        3.3.1 数据集
        3.3.2 设置
        3.3.3 结果分析
        3.3.4 与其它方法对比
    3.4 本章小结
第4章 基于多模态时空特征融合的行为识别
    4.1 引言
    4.2 基于多模态时间特征的行为识别方法框架
        4.2.1 RGB网络
diff网络">        4.2.2 RGB_diff网络
        4.2.3 XOR网络
        4.2.4 特征融合和行为识别
    4.3 实验结果和数据分析
        4.3.1 参数及设置
        4.3.2 结果及分析
        4.3.3 与其它方法的结果对比
    4.4 本章小结
第5章 总结与展望
    5.1 本文工作总结
    5.2 未来工作展望
参考文献
致谢
研究生期间发表的学术论文及研究成果



本文编号：3017199