基于视频深度强化学习的群体人物行为识别

发布时间：2023-11-25 18:27

　　理解视频中群体人物的行为语义是人工智能领域的难点,主要任务要求运用深度学习、强化学习等算法整合序列化的人物动作线索来推理视频群体人物的行为语义。近年来模式识别技术的发展已能基本满足图像中个人动作的识别要求,但对视频中群体人物行为的研究还有待开拓。本学位论文以识别视频中群体人物的行为语义为研究目标,首先设计一种基于关键语义的特征提取方法抽取视频主要内容的多维融合特征,再设计一种基于目标候选区域的人物检测方法并行分类和定位视频中的群体人物,最后设计一种基于时空轨迹的语义抽取方法完成对群体人物行为的理解。本文的工作创新主要体现在以下三个方面:(1)利用视频帧层次聚类结果选取聚类中心,使用K-means算法优化层次聚类结果,抽取视频关键语义序列,利用双向特征处理通道融合多层级视频特征,完成视频多维融合特征的提取。在KTH数据集上进行关键帧提取实验,实验结果表明本文设计的基于视频内容的关键帧提取算法具有较高的关键帧查全率,能够有效聚焦视频关键语义。在COCO数据集上进行特征提取实验,实验结果表明本文设计的基于卷积神经网络的特征融合算法所提取的视频特征能够有效利用低层位置信息,具有更强的特征表达能...

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
专用术语注释表
第一章 绪论
    1.1 论文研究背景和意义
    1.2 视频群体人物定位检测研究现状分析
    1.3 视频群体人物行为语义抽取研究现状分析
    1.4 论文研究思路和创新点
    1.5 论文主要研究工作及结构
第二章 相关工作
    2.1 视频群体人物特征提取
        2.1.1 视频内容在关键帧提取中的应用
        2.1.2 卷积神经网络在特征融合中的应用
    2.2 视频群体人物定位检测
        2.2.1 目标候选区域在目标检测中的应用
        2.2.2 人物特征在定位检测中的应用
    2.3 视频群体人物行为语义抽取
        2.3.1 运动特征在动作轨迹跟踪中的应用
        2.3.2 循环神经网络在行为关联中的应用
    2.4 本章小结
第三章 基于关键语义的视频群体人物特征提取
    3.1 问题描述
    3.2 基于视频内容的关键帧提取
        3.2.1 视频图像信息描述
        3.2.2 图像序列语义聚类
        3.2.3 关键语义序列抽取
    3.3 基于卷积神经网络的特征融合
        3.3.1 特征融合框架设计
        3.3.2 层级特征抽取
        3.3.3 多维特征融合
    3.4 实验与结果分析
        3.4.1 实验设计
        3.4.2 结果分析
    3.5 本章小结
第四章 基于目标候选区域的视频群体人物定位检测
    4.1 问题描述
    4.2 基于多维融合特征的目标边界框提取
        4.2.1 目标候选框提取
        4.2.2 目标边界框选取
    4.3 基于人物特征的视频群体人物定位
        4.3.1 人物边界框回归
        4.3.2 重叠人物检测
        4.3.3 群体人物定位预测
    4.4 实验与结果分析
        4.4.1 实验设计
        4.4.2 结果分析
    4.5 本章小结
第五章 基于时空轨迹的视频群体人物行为语义抽取
    5.1 问题描述
    5.2 基于运动特征的视频群体人物轨迹跟踪
        5.2.1 人物动作识别
        5.2.2 帧间人物匹配
        5.2.3 人物线索追踪
    5.3 基于循环神经网络的视频群体人物行为关联
        5.3.1 视频群体人物行为时空关联模型
        5.3.2 时空关联模型学习过程
        5.3.3 未知群体人物行为语义推断
    5.4 实验与结果分析
        5.4.1 实验设计
        5.4.2 结果分析
    5.5 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 工作展望
参考文献
附录1 攻读硕士学位期间撰写的论文
附录2 攻读硕士学位期间申请的专利
附录3 攻读硕士学位期间参加的科研项目
致谢



本文编号：3867617