基于深度学习的视频显著区域提取

发布时间：2020-12-22 01:46

　　人类在复杂场景中可以快速地辨识感兴趣的区域,进而完成对场景的理解,这是由人类视觉系统存在的视觉注意机制完成的。视觉信息主要来源于接收到的图像或视频数据信息,当注视一幅图片时人眼更容易定位到刺激视觉的区域,这些区域即为显著区域。在计算机视觉任务中引入人类的视觉注意力机制,可以有效提高数据筛选效率和计算效率。视频显著区域提取是通过模拟人类的视觉注意力机制,迅速定位并提取视频图像中的感兴趣区域,并应用于其他复杂场景任务中,如视频压缩,视频分割和视频质量评价等。近些年的研究表明,深度学习技术在分类、目标检测等图像处理任务中,有着不错的性能表现,这源于深度学习的多层线性映射可以有效地区分复杂特征,并提取更适用于目标任务的特征用于后续处理。而过去传统的方法主要通过人工选取特征,选取到的特征不够匹配目标任务,这限制了当前研究进展。因此,深度学习的应用将极大推进显著区域提取的发展。通过对显著性区域提取这一课题的发展梳理和前沿技术研究,本文提出了两种基于深度学习的视频显著区域提取模型。首先提出一种由全局特征提取到细化特征提取的算法,通过双流网络实现对视频帧图像和光流图中的全局信息提取,递归卷积网络实现对... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

眼部跟踪数据和显著目标检测图[53]

1998 年 Itti 和 C.Koch 等人提出的基于特征的显著性模型[3]奠定了视觉显著模型的研究方法理论，可以说开创了显著性模型在计算机视觉领域应用的先河。该模型结构如上图 1-2，选取颜色、强度和方向三个最为有效的特征得到相应的特征图，将各个特征图进行多尺度和线性结合从而输出最终的显著性图。J.Harel 和C. Koch 等人于 2006 年提出一种新的算法——基于图的注意力模型[4]，区别于基

本文的研究思路Fig.1-3Theresearchideaofthepaper本文首先考虑到视频图像处理和静态图像处理的区别，对于其中帧间信息提


本文编号：2930909