视觉注意力和鲁棒深度特征学习驱动的目标检测与跟踪研究

发布时间：2021-08-28 02:30

　　目标的检测与跟踪是计算机视觉领域的基本问题,也是智能视频监控系统的关键与核心技术。随着深度学习技术的推动,这方面的研究已经取得了令人瞩目的成就。但是,由于数据、场景、环境的复杂性,视觉目标的检测与跟踪仍然面临很多挑战。本文围绕上述复杂因素,从视觉注意力和鲁棒深度特征学习的角度出发,对目标检测和跟踪问题开展讨论,分别研究了基于自适应加权的多模态显著性目标检测方法、基于对象驱动视觉注意力的目标跟踪方法、基于困难正样本学习的目标跟踪方法、基于自然语言描述的目标跟踪方法以及基于困难行人身份挖掘的跨相机目标跟踪方法等。在多模态显著性目标检测方面,由于不同的多模态数据对最终结果的贡献不同,本文将重点研究多模态信息融合问题,即如何根据模态的质量实现自适应的加权。对于基于深度学习的方法,由于缺乏关于模态质量的标注信息,导致现有基于深度学习的方法很难将模态质量以监督学习的方式融合到整体的网络结构中。基于上述观察,本文借鉴了深度强化学习的思想,将不同模态的加权问题看做是序列决策问题。我们采取后期融合的思路,将多模态显著性物体检测分为两个阶段来进行。最终,在两个多模态任务上验证了该方法的有效性。对于跟踪问题... 

【文章来源】：安徽大学安徽省 211工程院校

【文章页数】：153 页

【学位级别】：博士

【部分图文】：

图１．１：论文的研究内容??Ｆｉｇ．?１．１：?Ｒｅｓｅａｒｃｈ?ｃｏｎｔｅｎｔｓ?ｏｆ?ｔｈｉｓ?ｐａｐｅｒ??

奖励定义为显著性检测的精度，强化学习的目标就变为了最大化显著性物体检??测累积的精度，这和显著性评测的目标也是一致的。深度强化学习中智能体与??环境交互的过程如图２．１所不。??本章提出一种具有普适性（Ｇｅｎｅｒａｌ）的质量预测网络，该网络可以从不??同的传感器中感知输入数据的质量，大致的网络示意图可参考图２．２。具体来??说，本文将每一个领域的质量预测问题看作是序列决策问题，并且训练一个智??能体与环境进行交互探索，使其能够学会对不同的领域数据进行智能加权。其??中，深度强化学习的三个主要元素，状态、动作以及奖励，具体定义如下：??？状态（Ｓｔａｔｅ）：来自不同领域输入数据；??？动作（Ａｃｔｉｏｎ）：増加，减少，停止调整模态权重；??？奖励（Ｒｅｗａｒｄ）：通过计算预测结果与真值之间的损失；??本文所引入的质量预测网络的训练可以用现有的深度强化学习算法来完??成，本文实验中采用的是深度Ｑ网络（ＤｅｅｐＱ－Ｎｅ．ｔｗｏｒｋ）?［１６］，因为该网络更加??－１１?－??

?一１?展现新的奖励Ｒｍ；??图２．１：强化学习中智能体与环境交互的示意图??Ｆｉｇ．?２．１：?Ｔｈｅ?ｉｎｔｅｒａｃｔｉｏｎ?ｂｅｔｗｅｅｎ?ａｇｅｎｔ?ａｎｄ?ｅｎｖｉｒｏｎｍｅｎｔ?ｉｎ?ｒｅｉｎｆｏｒｃｅｍｅｎｔ??ｌｅａｒｎｉｎｇ??励。学习的目标是在一个时序上最大化期望奖励，每一个时间步骤的回报定义??为从当前时刻到时序结束时的奖励总和。对于质量相关的多模态任务，本文利??用神经网络来表示智能体，允许针对不同的图像选择不同的质量权重。通过将??奖励定义为显著性检测的精度，强化学习的目标就变为了最大化显著性物体检??测累积的精度，这和显著性评测的目标也是一致的。深度强化学习中智能体与??环境交互的过程如图２．１所不。??本章提出一种具有普适性（Ｇｅｎｅｒａｌ）的质量预测网络，该网络可以从不??同的传感器中感知输入数据的质量，大致的网络示意图可参考图２．２。具体来??说


本文编号：3367604