基于模型引导和特征增强的深度视觉跟踪方法研究

发布时间：2020-10-24 02:33

　　 视觉单目标跟踪是计算机视觉领域的基本任务之一。现实生活中,各种干扰因素,如遮挡、形变、相似物干扰、分辨率低、背景嘈杂等,导致目标在运动过程中表观形状发生变化,加剧了目标跟踪的难度。近年来,基于相关滤波器(Correlation Filter,CF)和深度学习(Deep Learning)的方法明显改进了跟踪性能。基于相关滤波器的模型具有高效的计算优势,而基于深度学习的方法则学习较强的特征表达能力,有助于提升定位准确度。现有相关滤波器方法或简单使用预训练网络提取深度特征,或采用简单特征选择和特征融合机制结合卷积神经网络(Convolutional Neural Network,CNN)。另一方面,简单相关滤波器模型被嵌入卷积神经网络,但无法发挥改进的相关滤波器模型对边界效应的处理优势,进而无法达到与直接使用深度特征相当的跟踪效果。现有方法在实时性和鲁棒性方面仍存在瓶颈,快速鲁棒的目标跟踪模型仍有待进一步研究。目标跟踪过程通常由运动模型、特征提取、观测模型和模型更新构成,而其中特征提取和观测模型对跟踪效果有较大影响。由于目标外观的多样性,以及目标在运动过程中外观变化的多样性,给特征表达能力带来巨大挑战。在基于判别式的跟踪模型中,如何设计观测模型,将目标从背景中区分出来,是定位准确的关键。现有的目标跟踪方法,经历了从手工设计特征到深度特征的改进,但在深度特征利用和计算效率方面有待改进。在观测模型方面,近年来,相关滤波器受到重点关注,并被不断改进,但如何设计相关滤波器模型引导的深度学习目标跟踪模型仍有待进一步研究。本文将从特征增强和观测模型两方面展开研究,主要内容包括:(1)为解决基于支持向量的跟踪模型计算复杂度高,无法满足跟踪实时性要求的缺点,通过结合密集采样,将基于正则化最小二乘模型(Regularized Least Square,RLS)的相关滤波器扩展到基于大间隔分类的密集分类问题。提出了一种基于支持向量的相关滤波器(Support Correlation Filter,SCF)模型和交替迭代优化算法。利用相关滤波器的快速计算机制,和非对称的平方折页损失函数,在保证跟踪实时性的同时,进一步提高分类器对前景和背景的判别能力,改进跟踪效果。(2)直接使用在大规模静态图像数据集和图像分类任务上训练的网络提取特征,并未考虑对目标跟踪问题中序列图像的适用性。而基于大规模视频数据集训练的模型,通常为提高速度,设计浅层、顺序的CNN特征提取结构,并未充分利用深度特征。基于全卷积孪生网络(Fully-Convolutional Siamese Network,SiameseFC)框架,利用大规模视频数据集,本文引入自顶向下模块(Top-Down Modulation,TDM)进行特征增强学习。通过将顶层语义特征向下传递,指导底层特征的学习和选择,使得网络的单层输出既能捕获细节特征,又包含高层语义信息。针对样本不均衡问题,进一步通过改进的折页损失函数,挖掘困难样本加强深度特征的判别能力和相似性函数的匹配能力。(3)基于跳跃连接形式的深度特征增强方案,往往需要引入大量参数,为模型训练带来挑战。为同时实现增强顶层特征的表达能力和对非均匀尺度变化的鲁棒性,提出了一种自适应多因子空洞卷积的特征增强方法。在共享卷积参数的前提下,通过控制膨胀因子,提取具有不同感受野大小的特征。进一步引入自适应最大化加权特征融合方案,对具有不同感受野大小的特征进行整合。根据目标尺度自适应地选取对应感受野大小的特征,或根据物体内不同部分的尺度自适应地选取局部特征,以增强特征的表达能力和对非均匀尺度变化的鲁棒性。(4)为解决基于深度学习的跟踪模型在在线跟踪过程中缺乏模型自适应性的缺点,本文通过定义二层优化问题将背景感知的相关滤波器(Back-aware Correlation Filter,BACF)嵌入CNN,提出了 一种相关滤波器模型引导和模特征学习学习想结合的端到端网络结构。为将BACF嵌入CNN,将求解BACF的交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)展开得到截断推理模型(更新子网络)。在跟踪过程中,利用前一帧目标信息计算滤波器用于当前帧的目标定位,实现了模型自适应。为增强滤波器的鲁棒性,在损失函数中约束当前帧得到的滤波器在未来帧上仍具有一定的判别能力。训练过程中,使用贪心训练机制,逐阶段训练截断推理模型,然后再进行特征表达和截断预测模型的联合学习。通过联合学习,提高了特征和表观模型的判别能力。
【学位单位】：哈尔滨工业大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP391.41;TN713
【部分图文】：

域等价快速计算，但同时带来的边界效应也是影响滤波器性能提升的一个主要??问题。循环移位产生的样本，只有中心样本是准确的，其他合成样本都会存在??位移边界，如图１－３所示，而这些合成的负样本会干扰分类器的训练，致使响??应图中背景区域响应过大，如何在空间域进行约束是改进相关滤波观测模型的??关键。常用的解决方法是在图像特征上加余弦窗减弱边界的影响，但该方法无??法从根本上解决问题。Ｄａｎｅｌｌｊａｎ等人提出了带空间约束的正则化相关滤波器模??型（Ｓｐａｔｉａｌｌｙ?Ｒｅｇｕｌａｒｉｚｅｄ?Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ?Ｃｏｒｒｅｌａｔｉｏｎ?Ｆｉｌｔｅｒ，?ＳＲＤＣＦ）［６５’６６］，通过对滤波??器在空间域进行显式的正则，有效抑制背景区域的响应，进一步通过扩大搜索??区域，在减弱边界效应的同时充分利用了背景信息。然而，ＳＲＤＣＦ采用了高斯??－赛德尔迭代求解方法，速度太慢。０＆１〇〇§＆１１丨［６７’６８］等人提出了另一种解决思路，??如何利用真实的负样本，但同时要保证样本是循环的以便利用循环矩阵的特性??在频域进行快速求解。作者提出扩大搜索区域

将面向单＿标跟踪问题，从观测模型和特征增强角度出发，设计高效的跟踪模??型与求解算法、及鲁棒的特征增强方案，从跟踪精度和跟踪速度两方面改进■??标跟踪效果。论文结构及各章联系如图１－４所示。??各簟主要研究内容如下：??？第２章｜基于支持向量机（ＳＶＭ）和相关滤波器（ＣＦ）的跟踪模型－基？于人??工设计特征的跟踪模型中，ＳＶＭ和ＣＦ分别具有判别能力强和计算裔效的优??势。但由于跟踪过程中不断增加的训练样本，增加了基于ＳＶＭ的目标跟踪方??法的计算复杂度，限制了在线跟踪速度。而基于ＣＦ的目标跟踪方法在龙则化??最小二乘．獲型约東下，墟波器拍判别性能有待进一歩提葡。本攀提出了墨于．支??持尙量前相关滤波器（Ｓｕｐｐｏｒｔ?Ｃｏｒｒｅｌａｔｉｏｎ?Ｆｉｌｔｅｒ，ＳＣＦ）．模１Ｌ通过最小化等方折页??损失求解相关滤波器，非对称的损失函数可以提高．相关滤波器对＿标和背景的??判别能力。该模型可通过交替迭代更新方式求解，其中相关滤波器可在频域求??解

实现后续帧中ｇ标区域和背景的分离，从而实现自标定的判别性能对跟踪效果有百大影响。在经典的机器学习ｓｖｍ）［８４］作为一个广义线性分类器，优化Ｂ标同时考虑了具有一定的稳定性，而折页损失（Ｈｉｎｇｅ?Ｌｏｓｓ）函数又使非线性问题中降低了计算和存储开销。ＳＶＭ具有良好别力基于ＳＶＭ的目标跟踪算法也得到了广泛研究Ｉ１分：采样－生成一系列正负样本，学习－使用训练样本程中，为实现模型自适应性，需要不断进行样本采集和练样本积累进一步增加了?ＳＶＭ的计算复杂度，同时给类器求解带来了维度灾难。该问题可通过约束训练样本［１８，?６０］，但却限制了?ＳＶＭ的判别能力，进而影响了跟面，相关滤波器（ＣＦ）通过利用快速傅里叶变换，实现了和物体定位，并被广泛用于各种问题，如Ｓ标检测［Ｓ７１，波器采用设计的模板生成苘尺寸的响应图，使得响应图响应，而且抑制干扰区域对应的响应。??猶环移位１位??
【相似文献】

相关期刊论文 前10条

1 刘彬;米东;杜晓明;顾闯;;仿真系统概念模型验证方法的分析与选择[J];计算机仿真;2012年05期

2 郝靖;毕学军;曹伟华;;概念模型验证[J];四川兵工学报;2008年05期

3 曹星平;;作战模型验证的过程成熟度模型[J];系统仿真学报;2006年08期

4 陈利,张庆明,王晓英,汪于力;仿真模型验证方法与程序设计(英文)[J];Journal of Beijing Institute of Technology(English Edition);2002年02期

5 李伟;周玉臣;林圣琳;马萍;杨明;;仿真模型验证方法综述[J];系统仿真学报;2019年07期

6 顾闯;贾希胜;刘彬;田书超;孙王虎;;概念模型验证方法研究综述[J];军械工程学院学报;2013年06期

7 李青祝;马玉娟;;基于知识的三维模型验证开发技术的研究[J];煤矿机械;2011年08期

8 李青祝;马玉娟;;基于知识的三维模型验证开发技术的研究[J];制造技术与机床;2012年01期

9 刘晓曙;;谱估计在金融时间序列模型验证中的应用[J];清华大学学报(自然科学版)网络.预览;2008年09期

10 高媛;李亮;马仪炜;范瑾;;基于有限元模型验证的控制室盘台抗震鉴定[J];核电子学与探测技术;2016年07期

相关博士学位论文 前10条

1 武小荷;基于模型引导和特征增强的深度视觉跟踪方法研究[D];哈尔滨工业大学;2019年

2 刘振宇;辽河流域残留多氯有机物的多介质环境模拟[D];大连理工大学;2006年

3 钱晓超;考虑不确定性影响的仿真模型验证及校准方法研究[D];哈尔滨工业大学;2016年

4 詹振飞;面向汽车安全的不确定性多元动态系统模型验证理论和应用研究[D];上海交通大学;2011年

5 金景旭;汽车碰撞人体头部流固耦合模型及伤害机理研究[D];吉林大学;2015年

6 孔祥雪;腹腔镜下肝部分切除术培训系统的建立及有效性评价[D];南方医科大学;2017年

7 刘金卓;基于符号化模型检测的软件演化过程模型验证[D];云南大学;2013年

8 魏来;高速列车相关运行安全性问题研究[D];西南交通大学;2016年

9 钱萍;航天电连接器综合应力加速寿命试验与统计分析的研究[D];浙江大学;2010年

10 伍建焜;网构软件系统构建的形式化分析研究[D];上海交通大学;2009年

相关硕士学位论文 前10条

1 王力冰;多域复杂产品设计平台M-Design中模型验证和自动布局功能的设计与实现[D];浙江大学;2018年

2 宋婷;小样本数据仿真模型验证方法及面向服务工具研究[D];哈尔滨工业大学;2018年

3 江文洁;基于模型验证检测软件系统中智能模型的缺陷数据[D];浙江理工大学;2019年

4 赵希尧;基于静动态性能一致性分析的仿真模型验证方法研究[D];哈尔滨工业大学;2012年

5 李亚男;仿真系统模型验证方法和工具研究[D];哈尔滨工业大学;2008年

6 勇嘉伟;基于分布式系统的软件模型验证加速方法研究[D];大连理工大学;2015年

7 冯跃忠;模型驱动的业务生成技术中模型验证的研究与实现[D];北京邮电大学;2008年

8 王志超;基于Pro/Engineer的模型验证系统[D];山东大学;2013年

9 张家栋;CAD模型验证系统的研究与实现[D];山东大学;2013年

10 舒良春;基于SPIN/Promela的UML模型验证工具设计与实现[D];南昌大学;2009年

本文编号：2853899