复杂人体行为分析的时空上下文方法研究

发布时间：2020-08-14 20:27

【摘要】：由于广阔的应用前景和重要的学术价值,基于视频的人体行为分析已经成为计算机视觉和机器学习领域中的研究热点之一。在实际应用中,为了更好的分析视频行为,不仅需要对视频的行为类别进行识别,而且需要定位行为发生的具体时空位置。真实场景下的人体行为十分复杂,考虑人体行为中的时空上下文信息,可以实现对复杂行为的准确识别和精准定位。因此,本文主要研究如何充分利用时空上下文信息提高模型的识别和定位性能,研究内容包括:(1)基于时空描述距离测度的复杂行为识别。为了提高模型的描述力,本文充分整合行为视频中包含的有效时空信息,设计实现行为模式的更有效表示,消除复杂行为识别问题中的描述鸿沟,从而提高复杂行为的识别准确率。本文通过整合局部特征周围的结构信息以及构建局部特征间的时空关联,提出三种时空描述子和相应的距离测度方法,用以衡量行为视频间的时空距离,可同时用于识别简单单人行为和复杂交互行为。(2)基于层级时空概率图模型的复杂行为识别。为了提高模型的判别力,本文提出一个层级时空概率图模型,同时建模人体行为及其附近交互场景中包含的所有时空关联,并且集成从局部到全局的所有层级特征,消除复杂行为识别问题中的语义鸿沟,从而提高复杂行为的识别准确率。本文使用概率图模型直接作用于底层特征进行时空建模,从复杂的行为数据中学习出具有判别性的行为识别模型。(3)联合时空上下文的复杂行为识别和定位。为了提高模型的定位精度,本文提出一个统一的基于时空上下文的概率图模型,联合利用目标行为本身及其周边环境上下文信息共同修正定位边界;为了缩小目标行为的搜索空间,本文利用深度强化网络学习一个更加符合人类感知过程的高效搜索策略,在仅仅提取少量行为候选区域的条件下,获得更精确的时空定位结果;为了减少所需的人工标注数量,本文整合人体行为中潜在的时空动态和先验知识,重新定义强化学习中的奖励函数和损失函数,弥补因不完全标注带来的信息缺失。我们在多个公共行为数据集上验证了所提模型的有效性。实验结果表明时空上下文不仅能够增强模型的描述性和判别性,提升模型的识别性能,而且能够修正模型的定位边界,有助于更精准的定位人体行为。
【学位授予单位】：北京交通大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;TP181
【图文】：

复杂人,内容框架

代替耗时的穷尽搜索算法，缩小搜索空间，减少所需候选区域数量。逡逑１．５论文的结构安排逡逑本文中，复杂人体行为分析的研宄内容框架如图１－１所示。从图中可以看出人逡逑体行为分析包含三个关键问题：行为表达，行为识别和行为定位。行为表达的目逡逑的是提取更具描述性和判别性的特征表示；行为识别即为时变序列数据的分类问逡逑题或时空建模问题；行为定位的目标为定位行为发生的起始帧和结束帧（时间定逡逑位），以及每帧的具体空间区域（空间定位）。本文，将围绕行为分析中的这三个逡逑关键技术进行研究，解决各自存在的不足和问题，提高行为识别的准确率和行为逡逑定位的精度，从而全面提升人体行为分析系统的性能。逡逑行为分析＾邋：￣￣逦逦邋｜二逡逑ｕ识别模型＿类别标号逡逑Ｌ未分割视频＿行为表达＿邋逦逡逑Ｉ定位模型＿时宝位置逡逑图１－１．复杂人体行为分析的研宄内容框架。逡逑、逦Ｆｉｇｕｒｅ邋１－１．邋Ｆｒａｍｅｗｏｒｋ邋ｏｆ邋ｃｏｍｐｌｅｘ邋ｈｕｍａｎ邋ａｃｔｉｖｉｔｙ邋ａｎａｌｙｓｉｓ．逡逑本文的主要内容分为６章，具体结构安排如下：逡逑第１章绪论。主要介绍基于视频的人体行为分析的研究背景和研究意义。详逡逑９逡逑

行为数据,人体,行为

方法可分为于传统机器学习的方和于深度学习的方法。前者征加分类器的框架，而后者是一种端对端的学习框架。本章将首先体行为分析研宄的公共数据集，然后分别对基于传统机器学习的行基于深度学习的行为分析方法的研宄现状进行总结和比较。此外，深度强化学习在计算机视觉领域的应用和相关扩展。逡逑人体行为公共数据集逡逑着基于视频的人体行为分析的迅速发展，大量的公共人体行为数据立，旨在方便研究者进行公平和系统地算法验证和比较。人体行为最初的简单背景下的单人行为（例如Ｗｅｉｚｍａｎｎ和ＫＴＨ），发展到更的交互行为（例如邋ＵＴ－Ｉｎｔｅｒａｃｔｉｏｎ，ＢＩＴ－Ｉｎｔｅｒａｃｔｉｏｎ，邋Ｇｕｐｔａ邋和邋ＣＡＳＩＡ），真实场景下的网络视频（ＵＣＦ１０１和ＨＭＤＢ５１）。目前在人体行为分数据集有：逡逑Ｗｅｉｚｍａｎｎ单人行为数据集逡逑

行为数据,行为,场景,数据集

逦＇逡逑个人的一种行为。在这个视频数据集中，视频由固定摄像头拍摄，背景静止干净，逡逑且前景提供了剪影信息。因此，该数据集可用来验证简单单人行为的识别。图２－１逡逑中给出了该数据集中各类行为视频的截图示例。逡逑（２）邋ＫＴＨ单人行为数据集逡逑ＫＴＨ数据集［１１３］邋２００４年发布，包括６类简单单人行为：走路（ｗａｌｋｉｎｇ），慢逡逑跑（ｊｏｇｇｉｎｇ），跑步（ｒｕｎｎｉｎｇ），拳击（ｂｏｘｉｎｇ），挥手（ｈａｎｄ邋ｗａｖｉｎｇ）和拍手（ｈａｎｄ逡逑ｄａｐｐｉｎｇ）。该数据集一共有５９９段视频，其中每类行为由２５个不同的人在４种不逡逑同的场景下执行。４个场景分别为室外摄像头静止场景，室内场景，室外摄像头伸逡逑缩场景，室外不同衣着颜色场景。与Ｗｅｉｚｍａｎｎ数据集一样，ＫＴＨ数据集中的视逡逑频也是分割好的行为片段，每段包含有且仅有一个人的一种行为。与之不同的是，逡逑ＫＴＨ数据集中的视频类内差异更大，背景虽然相对静止，但是镜头存在拉近拉远逡逑和伸缩

【相似文献】