基于RGB和深度信息融合的双人交互行为识别

发布时间：2022-12-07 20:50

　　基于视频的双人交互行为识别是机器视觉重要的研究方向,其在智能安防、视频内容检索等方面具有广阔的应用前景。基于RGB视频的人类交互行为识别由于其缺乏维度信息,难以适应复杂环境下光照或背景等干扰问题,导致其对于复杂交互行为识别的准确率不高。为了弥补RGB视频的缺点,本文采用RGB和深度信息融合的方法对双人交互行为识别进行深入的研究:首先,针对基于RGB视频序列的双人交互行为识别缺乏深度信息,对复杂多变的交互动作识别不够准确的问题,本文提出一种融合深度信息的个体分割信息和RGB整体信息的双人交互行为识别算法,该方法在RGB视频信息源上采用基于整体的方法对动作视频进行表示;在深度视频信息源上通过YOLO网络结构对交互的双人进行个体分割,然后对分割的个体使用视觉共生矩阵对视频中属于每个人相关联的兴趣点进行特征描述送入分类器进行分类,最终将两个信息源进行融合。该算法易于实现,可操作性强,且识别率得到大幅提高。其次,针对双人交互行为识别算法普遍基于视频的传统特征描述,其算法存在计算复杂度高且识别准确率相对较低等问题,针对该问题提出一种基于RGB和深度视频双流融合的深度学习网络结构模型,利用卷积神经网... 

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
1 绪论
    1.1 研究背景与意义
    1.2 双人交互识别难点和挑战
    1.3 本文主要研究内容及创新点
    1.4 本文的组织结构
2 基于RGBD视频的双人交互行为识别综述
    2.1 基于RGB视频的交互行为识别方法
    2.2 基于DEPTH或SKELETON视频的人体交互行为识别方法
    2.3 基于RGBD视频融合的双人交互行为识别方法
    2.4 本章小结
3 基于整体和个体分割融合的双人交互行为识别算法研究
    3.1 个体分割
    3.2 视频特征表示
        3.2.1 RGB视频特征表示
        3.2.2 Depth视频特征表示
    3.3 实验验证与结果分析
        3.3.1 数据库介绍
        3.3.2 RGB和Depth视频测试结果
        3.3.3 两种特征融合结果
    3.4 实验结果与其它模型算法的比较验证
    3.5 本章小结
4 基于RGB和depth双流融合模型的双人交互行为识别算法研究
    4.1 模型框架
    4.2 特征表示
        4.2.1 卷积神经网络概述
        4.2.2 Resnet50 网络
        4.2.3 卷积可视化
    4.3 时序建模
        4.3.1 循环神经网络
        4.3.2 长短期记忆网络
        4.3.3 LSTM前向传递算法
        4.3.4 LSTM反向传播算法
    4.4 CNN和LSTM结合
    4.5 实验测试与分析
        4.5.1 数据集与测试环境
        4.5.2 实验参数设置
        4.5.3 实验验证与结果分析
    4.6 实验结果与其它文献的比较
    4.7 本章小结
5 基于注意机制卷积的RGBD双人交互行为识别算法研究
    5.1 特征表示
        5.1.1 注意机制原理
        5.1.2 注意机制模块
    5.2 时序建模
    5.3 训练过程与实验参数设置
    5.4 实验结果与分析
        5.4.1 数据库信息
        5.4.2 实验测试结果
        5.4.3 实验结果与其他文献的比较
    5.5 本章小结
6 结论
参考文献
致谢
攻读硕士学位期间发表的学术论文目录


【参考文献】：
期刊论文
[1]多相机条件下的行人再识别方法研究[J]. 郭英强,曹江涛.  辽宁石油化工大学学报. 2018(05)
[2]多源信息融合的双人交互行为识别算法研究[J]. 金壮壮,曹江涛,姬晓飞.  计算机技术与发展. 2018(10)
[3]基于改进YOLO的双模目标识别方法研究[J]. 黄杰军,呼吁,周斌,明德烈.  计算机与数字工程. 2018(04)
[4]基于YOLO网络的行人检测方法[J]. 高宗,李少波,陈济楠,李政杰.  计算机工程. 2018(05)
[5]利用深度视频中的关节运动信息研究人体行为识别[J]. 刘智,董世都.  计算机应用与软件. 2017(02)
[6]基于流形学习的人体动作识别[J]. 王鑫,沃波海,管秋,陈胜勇.  中国图象图形学报. 2014(06)
[7]基于时空单词的两人交互行为识别方法[J]. 韩磊,李君峰,贾云得.  计算机学报. 2010(04)
[8]人运动的视觉分析综述[J]. 王亮,胡卫明,谭铁牛.  计算机学报. 2002(03)



本文编号：3712825