弱监督动作定位方法的研究

发布时间：2024-02-22 04:52

　　动作定位有着广泛的应用前景,自动驾驶、医疗看护、监控、视频检索等领域的进一步发展都需依靠动作定位技术。但是传统的强监督动作定位方法需要对视频数据进行详尽标注,费时费力,而且容易出错,不利于方法的推广,无法处理网络上大量的只有部分标注信息的视频数据。为使动作定位技术能应用到大型数据集中,对弱监督动作定位方法的研究具有重大现实意义。提出三种弱监督时空动作定位方法,以适应不同的应用场景。首先,提出一种基于模板匹配的弱监督动作定位方法,训练视频中实际的动作位置不再由人工标注得到,而是利用动作模板从众多动作提名中选择一个最优提名作为视频中动作的位置。此方法只需为获得动作模板标注训练集中的少部分视频帧,无需对每一帧都进行标注,大大减少了数据集标注的工作量。然后,为进一步减少数据集标注工作量,提出基于单帧匹配的弱监督动作定位方法和基于稀疏点匹配的弱监督动作定位方法。基于单帧匹配的弱监督动作定位方法对训练视频中的每个动作实例只在一帧上进行矩形框标注,在模型训练阶段,用一种新的匹配准则来筛选动作提名。基于稀疏点匹配的弱监督动作定位方法在训练视频的部分帧上标注一个像素点来大致地指出动作发生的空间位置,利用...

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

图2-1EdgeBoxes获取目标候选框的过程

图2-1EdgeBoxes获取目标候选框的过程2.1.2Objectness认知心理学和神经生物学的研究表明：人类在识别目标之前可以先感知目标的存在。人类的视觉系统在观察图像时只会详细地处理图像的一部分区域信息，其余区域不会被处理。也就是说人类的视觉系统有一个简单的机制，....

图2-2前景和目标的NG特征对比

（a）原始图像（b）不同尺度下的梯度范数图（c）8*8的NG特征图2-2前景和目标的NG特征对比Cheng等人[54]算法的优点：1.给出较少的候选框就可以获得较高的目标召回率；2.有很高的计算效率，能够进行实时地检测；3.有很强的泛化能力，对于没见过的目标也....

图2-3YOLO预测流程

（a）原始图像（b）不同尺度下的梯度范数图（c）8*8的NG特征图2-2前景和目标的NG特征对比Cheng等人[54]算法的优点：1.给出较少的候选框就可以获得较高的目标召回率；2.有很高的计算效率，能够进行实时地检测；3.有很强的泛化能力，对于没见过的目标也....

图2-4YOLO网络结构

第2章相关工作h是矩形框的宽和高。C是类别，p(c)表示目标是类别C的概率。,0()0.1,0xxxxx（2.1）222222200220022000020[()()][()()][....

本文编号：3906423