基于边界概率的级联动作检测技术研究

发布时间：2020-10-10 16:55

　　 人体动作检测研究如何让计算机自动地找出视频中发生动作的位置,并识别出动作的类别。它是自动视频分析的一项重要内容,也是计算机视觉研究领域的一个重点研究方向,在智能安防、人机交互和自动驾驶等方面都扮演着非常重要的角色。目前的动作检测方法多是先使用动作候选片段提议方法生成一些候选片段,再对这些候选片段进行调整来得到最后的检测结果,因此动作检测的性能很大程度上取决于动作候选片段的质量。但由于目前的动作候选片段提议方案不能充分捕捉时域上下文信息,且没有考虑动作在时域上的相关性,因此生成的候选动作片段往往数量冗余且质量不高。为了解决上述问题,本文提出了基于边界概率的级联动作检测技术,主要工作如下:(1)提出了基于时域卷积神经网络的动作边界概率预测模型,用来预测输入视频的动作边界概率。该模型能够在保持模型参数较少的同时,让网络不仅具有多个尺度的“感受野”,更具有自适应的“感受野”,从而充分捕捉时域上运动的细微变化,来实现准确的动作边界预测。(2)提出了基于长短期记忆网络的边界概率微调模型,对上一步得到的边界概率进行微调。该模型利用长短期记忆网络在时域上的记忆特性,来捕捉时域上动作不同阶段的关联性,能够对动作概率进行修正,从而减少冗余的候选片段并提高候选片段的质量。最终将以上两个模型整合为一个级联模型,用来产生高质量的动作候选片段,然后基于这些候选片段实现了更准确的动作检测。本文的方法在THUMOS2014数据库上平均检索候选片段数目为50时的将召回率从目前最好的37.46%提高到了43.06%;基于这些动作候选片段实现的动作检测的平均准确率从目前最好的45.1%提高到了48.8%;在这两项指标上都超过目前学术界最好的性能。
【学位单位】：华中科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【部分图文】：

和公共场所的安全隐患，为人们的生活增添一道保障。机交互。基于计算机视觉技术的人体动作识别技术能够在非机器进行交互，相较于传统的键盘手柄等输入设备，这种方式感游戏方面尤其出色。育运动分析。可用于辅助体育运动中的日常训练和对运动员轨迹等信息的统计分析。驾驶。可用于对道路上行人的检测和识别，让自动驾驶变得频内容压缩。目前各种视频在线网站繁多，允许用户上传视可以帮助快速用户压缩视频中不必要的背景和无用镜头，减能家居。为家中有老人小孩或者行动不便的用户提供针对家在家中检测到婴儿摔倒等意外场景发出警报并紧急联系其他

因为不同的人对同一个动作何时开始和结束的判定是有误差的，因此动作检测的边界往往有几帧甚至几十帧的偏移。如图 1-3 中（a）所示，数据集中的标注动作是从 2025 帧开始的，但是实际上第 2025 帧和在其之前的第 2020 甚至第 2015 帧并无太大差异。（2）自然场景下的视频质量不一，而且会有很多干扰，如镜头模糊和光线变化等，在这样的条件下实现精准的动作检测极具挑战性。如图 1-3 中（b）所示，视频的镜头模糊和光线变化让视频中发生的动作变得难以区分。（3）不同类别的动作之间有很多共享的肢体动作或背景环境，也就是说对动作检测有区分性的特征在视频中占比很少。这些小细节对计算机来说是难以观察捕捉，如在撑杆跳和跳远这两个运动中，运动员的助跑姿势是一样的，而且都是在标准的田径场，背景又是高度一致的，如图 1-3 中（c）所示。（4）不同的动作持续时长和整段视频时长的比例变化非常大，不同的动作持续时长少则几帧，多则几百帧；而整段视频的时长一般在 2000帧~20000 帧之间，二者的比例甚至能达到万分之一，因此如何在时序上进行有效的建模是一个关键难点。

图 2-1 人体动作识别的一般框架可分为输入视频、数据预处理、特征提取、时序编码和动作分类五大步骤。第一步是获取不同类型的输入视频，可以是基于常见的彩色图像，也可以是经过计算后的光流图像或者特殊设备采集到的深度图像等。第二步接着对数据进行必要的预处理，如数据归一化和尺寸缩放等常见的数据增强方法，以及为了减轻计算复杂度常用的数据采样，如对视频的等间隔下采样或者抽帧。第三步是对得到的基于帧的数据进行特征提取，得到统一的向量表达，常见的是手工特征和神经网络特征。第四步是通过时序编码将提取的局部特征融合成全局视频特征，一般分为基于传统方法和神经网络方法这两类。第五步是使用分类器对得到的特征进行分类学习，同样地也有基于传统方法和神经网络方法这两类。由以上框架简介可知，高质量的视频特征对视频分类的精度尤为重要，一般来说特征提取也是整个框架中最耗时的部分，因此这部分也是研究者的重点研究对象。下文也将主要介绍特征提取的相关技术。
【相似文献】

相关期刊论文 前10条

1 ;用概率判生死:法庭上的数学证据[J];语数外学习(高中版中旬);2017年01期

2 ;统计概率值[J];护理管理杂志;2009年06期

3 林兆升;甘玉华;;分析测试疑难问题评述及实例分析[J];重庆环境保护;1987年06期

4 屈定坤;Fuzzy概率预测初探[J];安徽财贸学院学报;1988年03期

5 叶子祥;用模糊事件的概率变换进行非线性相关因子筛选[J];气象;1988年07期

6 崔德山;关于七点链[J];兵工学报;1988年03期

7 徐斌;;FTA中基本概率值选取途径的探讨[J];工业安全与防尘;1988年09期

8 叶子祥;;用模糊事件的概率变换进行非线性相关因子筛选[J];浙江气象科技;1988年03期

9 刘治中;王俊德;丛树铮;;P-Ⅲ型分布的期望概率计算[J];河海大学学报;1989年04期

10 王艳;模糊概率值法在晒烟品种(系)综合评价中的应用[J];延边大学农学学报;2002年01期

相关硕士学位论文 前10条

1 徐亮;基于边界概率的级联动作检测技术研究[D];华中科技大学;2019年

2 洪嘉玲;基于光伏出力概率预测的储能优化配置方法[D];合肥工业大学;2019年

3 庞东泽;基于风电出力重构的风电容量效益评估研究[D];华北电力大学(北京);2019年

4 方凯;基于转换概率分析的硬件木马检测方法研究[D];合肥工业大学;2019年

5 喻瑶;考虑员工偏好分布的服务型单位概率用工研究[D];杭州电子科技大学;2019年

6 尧睿智;基于贝叶斯方法的盾构隧道参数概率反演及可靠度分析[D];南昌大学;2019年

7 靳培英;11-15岁儿童概率概念认知水平与认知策略发展研究[D];杭州师范大学;2019年

8 李昊;贩毒人员属性关联分析与概率预测[D];东北大学;2017年

9 许敏;概率教学情境下学生随机性思维发展水平研究[D];闽南师范大学;2017年

10 周琳琳;概率反Top-k查询上Why-not问题研究[D];浙江大学;2017年

本文编号：2835337