基于多图学习的多模态图像显著性检测算法研究

发布时间：2021-03-04 04:56

　　随着多媒体图像处理技术的进步和发展,图像数据快速的增长,如何高效地从这庞大的图像数据中提取出人们感兴趣且有价值的信息,并有效地滤除掉过多的冗余数据成为了目前图像处理和计算机视觉领域亟待解决的问题。近年来,视觉显著性检测作为计算机视觉中的重要分支之一,能够辅助并改善一系列的视觉处理任务,已经被广泛地应用到了场景分类、视觉跟踪、目标重定向、语义分割等众多领域中,成为了一个炙手可热的研究课题。虽然在特定测试数据集以及简单场景下,对于单模态图像显著性检测的研究已经达到了很高的水平,但是由于其算法缺乏泛化性,在图像光照条件差、恶劣天气、颜色相近以及图像包含噪声等复杂场景下的显著性检测精度仍有待提高。近年来,由于各种成像技术的不断成熟,其他类型的光谱成像获取的数据越来越多（其中热红外图像就对光照不敏感）,使得相关领域的科研人员开始尝试融合多个不同但互补的多模态信息,如可见光和热红外信息（RGB-T）,这在一定程度上提升了显著性检测的精度和鲁棒性。因此,本文将围绕图像显著性检测及多模态图像显著性检测展开研究,具体来说,我们的主要工作如下:（1）传统的关于显著性的研究立足于对图像的结构划分并且构建图模... 

【文章来源】：安徽大学安徽省 211工程院校

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

图像显著

安徽大学硕士学位论文9第二章图像显著性检测相关方法人类的视觉注意机制可以将有限的认知资源集中到图像中重要的信息上而对那些不重要的信息进行抑制。在过去的几十年里，以认知神经学为主导的视觉显著性在多个相关领域得到了广泛的研究和发展，例如：目标重定位，目标识别与检测，场景分割等。本章的主要内容包括：通用显著性检测流程简介、图论与图学习简介、多模态图像显著性检测简介。2.1通用显著性检测流程在计算机视觉领域中，从自顶向下的图像显著性检测模型的角度来看，显著性检测的过程可分为特征提娶特征分类和显著图生成三个阶段，图2.1展示了显著性检测算法的基本流程。图2.1显著性检测算法的基本流程通俗来说，特征提取第一步要做的就是图像数字化转变。这样就能成为计算机辨识与还原的对象，经过数字化后的图像本质上就是一个多维矩阵，例如常见的RGB图像其实可以理解为3个宽高固定的二维矩阵的叠加。图像中每个像素点的颜色信息都可以用矩阵的每个元素来表示，特征提取就是获得相邻或相似集合上像素点之间的描述关系，特征分类就是将图像中有用的信息（显著区域信息）与冗余的信息分离开来，最后将分类信息通过二值化的方式生成显著图。下面我们将详细介绍图像的底层特征以及图像特征提取的相关方法。2.1.1图像底层特征众所周知，计算机只能识别数字，对图像并不能识别，为了让计算机拥有相应的“视觉”功能，能够真正的“认识”图像。在本章中，我们将研究如何快速地提取图像中最有价值的信息或者数据，并将其进行“非图像”表示或者描述，譬如向量以及数值等。这种过程就是所谓的特征提取，这些向量或者数值就是所谓的图像特征。在获得这些特

单模态与多模态显著性检测结果的视觉对比


本文编号：3062600