基于深度神经网络的视频显著性预测研究
发布时间：2021-11-13 20:59
视频是当今社交媒体中最常见的内容之一,近年来随着短视频平台的兴起,日常视频数据的生成量呈现出爆炸式增长的趋势,这给计算机视觉系统提出了更高的信息处理要求。而对于人类视觉系统而言,实时高效地处理视觉信息是其与生俱来的能力,原因在于该系统存在一种注意机制,这种机制可以从人眼获取的大量视觉信息中筛选出最主要的一部分并将其分配给大脑优先处理,从而实现从视觉感知到理解的高速响应。视觉显著性预测则是通过计算机技术模拟人类视觉系统的这种注意机制来达到高效处理大量视觉信息的效果,具体到处理数字图像和视频的任务上,即为检测出图像或视频帧中最引人注目的区域,生成显著性图或序列。目前,图像显著性预测已发展得相当成熟,特别是深度学习技术的高速发展更是为其带来巨大的性能提升。相比而言,视频显著性预测的研究起步较晚,且由于视频存在目标运动、场景转换、计算复杂度高等特性,使得视频显著性预测更具挑战性。实际地,在对视频显著性建模时往往需要额外获取视频数据的时间特征,如何增强时间特征的鲁棒性并有机地进行时空特征融合?这仍需进一步探索。本文的研究即着眼于这一颇具挑战性的问题,通过结合前沿深度学习技术的应用来探讨视频显著性...
【文章来源】：深圳大学广东省
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
视觉显著性预测的输入和输出示意图
基于深度神经网络的视频显著性预测研究5的时空特征经过一系列上采样层解码为高分辨率的特征图。该类方法与上述两类方法的主要区别在于其不存在显式的特征融合过程，利用3DCNN直接对视频数据获取更加丰富的时空特征。主流的基于深度学习的视频显著性预测方法能够通过大量的训练数据学习相对统一高效的规律，但仍存在诸多不足，如未考虑多尺度特征、局部时空显著性对检测精度的贡献，存在特征融合过程增加了网络模型复杂度，帧间信息学习不充分，空间特征优化不精确等。此外，在文献[26,29]中利用长短期记忆模型获取当前视频帧的时间显著性时只考虑上一视频帧的记忆隐藏状态，这将带来记忆压缩问题，制约了显著性预测精度的进一步提升。1.3本文创新点及章节安排图1-2本文内容框架图针对上述视频显著性预测的主流深度学习模型存在的不足，本文主要提出两个创新点，即两个基于深度学习的视频显著性预测方法：（1）局部与长期时空特征增强的视频显著性预测网络。针对现有模型存在未考虑多尺度特征、局部时空显著性对检测精度的贡献及长短期记忆模型的记忆压缩问题，本文提出一种基于多尺度特征策略和注意力长短期记忆模型的显著性预测网络。该网络是一种编码-解码网络，在编码端利用侧输出提取多尺度的空间特征并传递到解码端生成融
梯度消失问题，并以此构造了ResNet网络，其最深可达152层。ResNet网络可谓是目前CNN中最负盛名的一员了，其凭借创造性的结构和充分的深度优势，成为计算机视觉各领域最受欢迎的骨架网络。2017年，Huang等人[41]提出了DenseNet网络，该网络在ResNet的基础上加入特征密集连接及复用等模块，进一步提升了CNN的性能。2017年以后鲜有经典网络框架被提出，研究者们开始从网络模块、训练策略、损失函数、可解释性等多种性能提升角度展开研究，接下来将以特征金字塔网络[42]为例阐述与本文研究内容相关的多尺度特征策略。图2-1特征金字塔网络框架图多尺度特征策略在深度神经网络中是通过获取不同尺度的特征图并加以融合来实现的，特征金字塔网络（featurepyramidnetwork，FPN）是这一实现方式的典型代表。如图2-1所示，FPN由一系列的卷积层和反卷积层组成，箭头指示了网络所获取特征的传递方向，可以看到特征既有纵向传递也有横向传递。纵向传递贯穿的是获取输入图像的特征所经历的下采样到上采样的过程；横向传递则是多尺度特征策略的体现，主要做法是在下采样过程中根据当前层特征图的尺寸加入来自上采样阶段相同尺寸的特征图，目的是在网络深层也能将浅层特征考虑进来，这样可以使得部分小物体在网络深层也能有特征响应，因为浅层特征往往包含了物体的位置信息等有价值的特征。因此，这一结构
【参考文献】：
期刊论文
[1]视频显著性检测研究进展[J]. 丛润民,雷建军,付华柱,王文冠,黄庆明,牛力杰. 软件学报. 2018(08)
博士论文
[1]视觉显著性检测方法与应用研究[D]. 黄侃.中国科学院大学(中国科学院上海技术物理研究所) 2017
硕士论文
[1]面向弱监督学习的循环注意力关键算法的研究[D]. 王立群.南京信息工程大学 2019
本文编号：3493712
【文章来源】：深圳大学广东省
【文章页数】：60 页
【学位级别】：硕士
【部分图文】：
视觉显著性预测的输入和输出示意图
基于深度神经网络的视频显著性预测研究5的时空特征经过一系列上采样层解码为高分辨率的特征图。该类方法与上述两类方法的主要区别在于其不存在显式的特征融合过程，利用3DCNN直接对视频数据获取更加丰富的时空特征。主流的基于深度学习的视频显著性预测方法能够通过大量的训练数据学习相对统一高效的规律，但仍存在诸多不足，如未考虑多尺度特征、局部时空显著性对检测精度的贡献，存在特征融合过程增加了网络模型复杂度，帧间信息学习不充分，空间特征优化不精确等。此外，在文献[26,29]中利用长短期记忆模型获取当前视频帧的时间显著性时只考虑上一视频帧的记忆隐藏状态，这将带来记忆压缩问题，制约了显著性预测精度的进一步提升。1.3本文创新点及章节安排图1-2本文内容框架图针对上述视频显著性预测的主流深度学习模型存在的不足，本文主要提出两个创新点，即两个基于深度学习的视频显著性预测方法：（1）局部与长期时空特征增强的视频显著性预测网络。针对现有模型存在未考虑多尺度特征、局部时空显著性对检测精度的贡献及长短期记忆模型的记忆压缩问题，本文提出一种基于多尺度特征策略和注意力长短期记忆模型的显著性预测网络。该网络是一种编码-解码网络，在编码端利用侧输出提取多尺度的空间特征并传递到解码端生成融
梯度消失问题，并以此构造了ResNet网络，其最深可达152层。ResNet网络可谓是目前CNN中最负盛名的一员了，其凭借创造性的结构和充分的深度优势，成为计算机视觉各领域最受欢迎的骨架网络。2017年，Huang等人[41]提出了DenseNet网络，该网络在ResNet的基础上加入特征密集连接及复用等模块，进一步提升了CNN的性能。2017年以后鲜有经典网络框架被提出，研究者们开始从网络模块、训练策略、损失函数、可解释性等多种性能提升角度展开研究，接下来将以特征金字塔网络[42]为例阐述与本文研究内容相关的多尺度特征策略。图2-1特征金字塔网络框架图多尺度特征策略在深度神经网络中是通过获取不同尺度的特征图并加以融合来实现的，特征金字塔网络（featurepyramidnetwork，FPN）是这一实现方式的典型代表。如图2-1所示，FPN由一系列的卷积层和反卷积层组成，箭头指示了网络所获取特征的传递方向，可以看到特征既有纵向传递也有横向传递。纵向传递贯穿的是获取输入图像的特征所经历的下采样到上采样的过程；横向传递则是多尺度特征策略的体现，主要做法是在下采样过程中根据当前层特征图的尺寸加入来自上采样阶段相同尺寸的特征图，目的是在网络深层也能将浅层特征考虑进来，这样可以使得部分小物体在网络深层也能有特征响应，因为浅层特征往往包含了物体的位置信息等有价值的特征。因此，这一结构
【参考文献】：
期刊论文
[1]视频显著性检测研究进展[J]. 丛润民,雷建军,付华柱,王文冠,黄庆明,牛力杰. 软件学报. 2018(08)
博士论文
[1]视觉显著性检测方法与应用研究[D]. 黄侃.中国科学院大学(中国科学院上海技术物理研究所) 2017
硕士论文
[1]面向弱监督学习的循环注意力关键算法的研究[D]. 王立群.南京信息工程大学 2019
本文编号：3493712
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3493712.html
