基于时空采样网络的目标跟踪算法研究
发布时间：2021-03-30 08:17
目标跟踪作为人工智能领域的一个重要分支,它是对序列图像的处理过程,即在连续帧中输出指定目标的准确位置并形成运动轨迹。现在目标跟踪的应用主要集中在智能监控、无人机、自动驾驶等领域。在目标跟踪领域,从传统算法到深度学习算法的递进过程中,目标是否具有全面的特征表达会直接影响跟踪的精度和成功率。如何获得更全面的特征表示方法是本文的关键点之一。近些年来的目标跟踪算法可大致分为传统的目标跟踪算法以及深度学习相关的目标跟踪算法。传统目标跟踪算法一般具有良好的实时性,但是它只针对特定场景,泛化性能差。深度学习在处理图像时模拟人类的视觉系统,对接收到的外部信息进行分级处理,通过组合底层特征形成更加抽象的高层特征,可面对各种复杂场景变化,具有良好的泛化性能,但是实时性有所欠佳。针对这些不足,本文所提出的基于深度学习的目标跟踪算法,设计了一个轻量级的端到端的跟踪网络,不仅优化了特征表达从而实现更稳定的跟踪效果,而且加入了相关滤波层来提高跟踪速度,使得本文的算法在精度、成功率和速度上都具有一定的优势。本文的工作总结如下:第一,为了获取图像序列的时间和空间信息,设计时空采样网络来提取特征,并加入了可变形卷积层,...
【文章来源】：中国科学院大学(中国科学院光电技术研究所)四川省
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
目标跟踪示意图
31.2国内外研究现状一般来说，关于目标跟踪的算法被分为两类：传统算法和基于深度学习的算法。目标跟踪初始发展阶段，国内外的研究更多地集中在传统的跟踪算法中，如光流法[6]、卡尔曼滤波[7][8]、粒子滤波[9]、Mean-Shift[10]，这些传统算法需要在考虑尺度不变性、旋转不变性、光照不变性等条件下，进行手工设计提取（hand-craft）特征，比如纹理、边缘(Harr_like)、方向梯度直方图(HistogramofOrientedGradient,HOG)、CN(ColorNames)[11]或者一些更高级的特征，再送入分类器输出标签。随着深度学习发展以后，越来越多的人关注在跟踪中使用深度学习的方法，如图1.2所示，与传统算法不同的是，深度学习的方法主要是将图像输入深度神经网络，输出标签，直接输出结果，特征提取和分类同时进行，并且是从原始数据中自动化地提取特征，不需要手工设计特征。所以相较于传统算法，深度学习可以做到更好精度，经过大数据训练过的网络模型拥有很强的特征提取能力，同时深度网络模型的泛化能力也很优秀。图1.2深度学习和传统方法对比图Figure1.2IllustrationofComparisonbetweenDeepLearningandTraditionalMethods1.2.1传统目标跟踪算法根据目标外观模型不同，传统算法可分为生成式模型(GenerativeModel)和判别式模型(DiscriminativeModel)两大类。（1）生成式跟踪方法基于生成式模型的跟踪方法可被描述为：首先对目标外观进行建模，得到目标的外观特征表达，在图像的搜索区域进行特征模型匹配，输出匹配度最高的区域，即完成了目标的识别定位。生成式模型目标表示可分为两类[14]：基于线性子空间的目标表示方法和稀疏编码。
6(RegionProposalNetworks,RPN)[25]来对bonding-box进行回归，提高跟踪定位的精度。目标跟踪领域中大多深度神经网络采用卷积神经网络来作为特征提取网络，本文所研究的算法即采用卷积神经网络。（2）RNN-based算法CNN是一种前馈神经网络，信息从输入层，通过隐藏层到输出层，只进行单向移动。循环神经网络（RecurrentNeuralNetwork，RNN）是一种专门用来处理时间序列的数据的神经网络。由图1.3可以看到，每一个隐藏层的输入不仅包含了输入层的输入，也包含了上一个隐藏层的信息输入，使得RNN网络可以拥有记忆的功能。在隐藏层有一个箭头表示数据的循环更新,这个就是实现时间记忆功能的方法。图1.3RNN网络结构Figure1.3IllustrationofRNN目标跟踪的图像序列具有时间上的关联性，而RNN网络用来处理这种时间序列非常合适，但是此网络容易出现梯度消失或者梯度爆炸的问题，梯度消失主要是由于时间过长而造成记忆值较小的现象。为解决梯度消失和梯度爆炸的问题，后出现了改进算法LSTM（LongShortTermMemory,长短期记忆网络）[26]和GRU（GateRecurrentUnit，门控循环单元）[27]。LSTM引入了输入门、遗忘门以及输出门三个门结构和一个内部记忆单元，输入门控制当前计算的新状态以多大程度更新到记忆单元中；遗忘门控制前一步记忆单元中的信息有多大程度被遗忘掉；输出门控制当前的输出有多大程度上取决于当前的记忆单元。GRU是2014年提出的一种LSTM改进算法.它将遗忘门和输入门合并成为一个单一的更新门，同时合并了数据单元状态和隐藏状态，使得模型结构比之于LSTM更为简单。
【参考文献】：
期刊论文
[1]Optimal Neuro-Control Strategy for Nonlinear Systems With Asymmetric Input Constraints[J]. Xiong Yang,Bo Zhao. IEEE/CAA Journal of Automatica Sinica. 2020(02)
[2]基于孪生网络结构的目标跟踪算法综述[J]. 陈云芳,吴懿,张伟. 计算机工程与应用. 2020(06)
[3]基于卷积网络的目标跟踪应用研究[J]. 赵春梅,陈忠碧,张建林. 光电工程. 2020(01)
[4]基于时空采样网络的相关滤波目标跟踪算法[J]. 谢颍晓,蔡敬菊,张建林. 国外电子测量技术. 2020(01)
[5]基于智能驾驶的动态目标跟踪研究[J]. 张晶晶,杨鹏,刘元盛,梁军. 计算机工程. 2018(07)
[6]目标跟踪算法综述[J]. 卢湖川,李佩霞,王栋. 模式识别与人工智能. 2018(01)
[7]基于深度学习的目标跟踪方法研究现状与展望[J]. 罗海波,许凌云,惠斌,常铮. 红外与激光工程. 2017(05)
[8]基于生成式模型的目标跟踪方法综述[J]. 朱文青,刘艳,卞乐,张子龙. 微处理机. 2017(01)
博士论文
[1]基于上下文信息的视频目标跟踪问题研究[D]. 陈紫晶.华中科技大学 2019
硕士论文
[1]基于目标表征学习和更新建模的视频跟踪技术研究[D]. 黄江雷.中国科学技术大学 2019
[2]基于多无人机协同的多视角目标跟踪算法的研究[D]. 刘伟.杭州电子科技大学 2018
本文编号：3109200
【文章来源】：中国科学院大学(中国科学院光电技术研究所)四川省
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
目标跟踪示意图
31.2国内外研究现状一般来说，关于目标跟踪的算法被分为两类：传统算法和基于深度学习的算法。目标跟踪初始发展阶段，国内外的研究更多地集中在传统的跟踪算法中，如光流法[6]、卡尔曼滤波[7][8]、粒子滤波[9]、Mean-Shift[10]，这些传统算法需要在考虑尺度不变性、旋转不变性、光照不变性等条件下，进行手工设计提取（hand-craft）特征，比如纹理、边缘(Harr_like)、方向梯度直方图(HistogramofOrientedGradient,HOG)、CN(ColorNames)[11]或者一些更高级的特征，再送入分类器输出标签。随着深度学习发展以后，越来越多的人关注在跟踪中使用深度学习的方法，如图1.2所示，与传统算法不同的是，深度学习的方法主要是将图像输入深度神经网络，输出标签，直接输出结果，特征提取和分类同时进行，并且是从原始数据中自动化地提取特征，不需要手工设计特征。所以相较于传统算法，深度学习可以做到更好精度，经过大数据训练过的网络模型拥有很强的特征提取能力，同时深度网络模型的泛化能力也很优秀。图1.2深度学习和传统方法对比图Figure1.2IllustrationofComparisonbetweenDeepLearningandTraditionalMethods1.2.1传统目标跟踪算法根据目标外观模型不同，传统算法可分为生成式模型(GenerativeModel)和判别式模型(DiscriminativeModel)两大类。（1）生成式跟踪方法基于生成式模型的跟踪方法可被描述为：首先对目标外观进行建模，得到目标的外观特征表达，在图像的搜索区域进行特征模型匹配，输出匹配度最高的区域，即完成了目标的识别定位。生成式模型目标表示可分为两类[14]：基于线性子空间的目标表示方法和稀疏编码。
6(RegionProposalNetworks,RPN)[25]来对bonding-box进行回归，提高跟踪定位的精度。目标跟踪领域中大多深度神经网络采用卷积神经网络来作为特征提取网络，本文所研究的算法即采用卷积神经网络。（2）RNN-based算法CNN是一种前馈神经网络，信息从输入层，通过隐藏层到输出层，只进行单向移动。循环神经网络（RecurrentNeuralNetwork，RNN）是一种专门用来处理时间序列的数据的神经网络。由图1.3可以看到，每一个隐藏层的输入不仅包含了输入层的输入，也包含了上一个隐藏层的信息输入，使得RNN网络可以拥有记忆的功能。在隐藏层有一个箭头表示数据的循环更新,这个就是实现时间记忆功能的方法。图1.3RNN网络结构Figure1.3IllustrationofRNN目标跟踪的图像序列具有时间上的关联性，而RNN网络用来处理这种时间序列非常合适，但是此网络容易出现梯度消失或者梯度爆炸的问题，梯度消失主要是由于时间过长而造成记忆值较小的现象。为解决梯度消失和梯度爆炸的问题，后出现了改进算法LSTM（LongShortTermMemory,长短期记忆网络）[26]和GRU（GateRecurrentUnit，门控循环单元）[27]。LSTM引入了输入门、遗忘门以及输出门三个门结构和一个内部记忆单元，输入门控制当前计算的新状态以多大程度更新到记忆单元中；遗忘门控制前一步记忆单元中的信息有多大程度被遗忘掉；输出门控制当前的输出有多大程度上取决于当前的记忆单元。GRU是2014年提出的一种LSTM改进算法.它将遗忘门和输入门合并成为一个单一的更新门，同时合并了数据单元状态和隐藏状态，使得模型结构比之于LSTM更为简单。
【参考文献】：
期刊论文
[1]Optimal Neuro-Control Strategy for Nonlinear Systems With Asymmetric Input Constraints[J]. Xiong Yang,Bo Zhao. IEEE/CAA Journal of Automatica Sinica. 2020(02)
[2]基于孪生网络结构的目标跟踪算法综述[J]. 陈云芳,吴懿,张伟. 计算机工程与应用. 2020(06)
[3]基于卷积网络的目标跟踪应用研究[J]. 赵春梅,陈忠碧,张建林. 光电工程. 2020(01)
[4]基于时空采样网络的相关滤波目标跟踪算法[J]. 谢颍晓,蔡敬菊,张建林. 国外电子测量技术. 2020(01)
[5]基于智能驾驶的动态目标跟踪研究[J]. 张晶晶,杨鹏,刘元盛,梁军. 计算机工程. 2018(07)
[6]目标跟踪算法综述[J]. 卢湖川,李佩霞,王栋. 模式识别与人工智能. 2018(01)
[7]基于深度学习的目标跟踪方法研究现状与展望[J]. 罗海波,许凌云,惠斌,常铮. 红外与激光工程. 2017(05)
[8]基于生成式模型的目标跟踪方法综述[J]. 朱文青,刘艳,卞乐,张子龙. 微处理机. 2017(01)
博士论文
[1]基于上下文信息的视频目标跟踪问题研究[D]. 陈紫晶.华中科技大学 2019
硕士论文
[1]基于目标表征学习和更新建模的视频跟踪技术研究[D]. 黄江雷.中国科学技术大学 2019
[2]基于多无人机协同的多视角目标跟踪算法的研究[D]. 刘伟.杭州电子科技大学 2018
本文编号：3109200
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3109200.html
