基于深度学习的协同显著性检测方法研究

发布时间：2021-12-17 05:58

　　难点在于如何针对不同图片组中的不同情形,得到自适应的协同显著性检测意指在一组相关图片中发现共同且显著的目标或区域,其具有前景一致性和前景-背景区别力的特征表达,以及如何建模同组图片间的交互关系,利用群组语境信息促进协同显著性检测性能的提升。虽然已有的协同显著性检测研究针对以上两大问题进行了广泛而深人的探索,但是距离令人满意的协同显著性检测仍然存在许多亟需解决的障碍,特别是利用深度学习工具解决协同显著性检测问题仍然处于初始的摸索阶段。本文提出三种基于深度学习的协同显著性检测方法,为协同显著性检测研究提供了新的思路,主要内容和贡献概括如下:一、提出一个基于图注意力网络的半监督协同显著性检测算法。利用多视角特征选择对超像素的多视角特征进行学习和融合,通过探索多视角特征间的互补,得到任务自适应的综合特征表达。在优化后的综合特征上构建初始图拓扑结构,利用图注意力网络建模组内超像素间的交互关系,得到具有组语境信息的特征表达进行精确的协同显著性推理;最后利用精心设计的代价函数作为监督对多视角特征选择网络和图注意力网络依次进行优化。所提出的图注意力网络将图优化、特征学习以及协同显著性检测推理整合在一个... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：93 页

【学位级别】：博士

【部分图文】：

图１．１协同显著性检测的概念

＿＿國??ＨＩＥＳＵＵＨ??图１．１协同显著性检测的概念。协同显著目标是在图片组中共同出现的显著目标，图中第??一行是图片组，第二行是真实协同显著性图，其中红衣足球运动员是协同显著目标。??法的不断发展和完善，协同显著性检测在许多任务场景中取得来广泛的应用。例??如，协同显著性最直接的应用就是物体的协同分割（Ｃｏ－ｓｅｇｍｅｎｔａｔｉｏｎ）１１３－＇协同??显著性检测可以作为共分割任务的预处理步骤，在已有的协同显著性遮罩上加入??一个阈值即可得到二值化的协同分割遮罩［１４］。视频序列的前景发现（Ｆｏｒｅｇｒｏｕｎｄ??Ｄｉｓｃｏｖｅｒｙ?ｉｎ?Ｖｉｄｅｏ?Ｓｅｑｕｅｎｃｅｓ）１１５＇１７１也是协同显著性检测的潜在应用场景之一。??如图１．２所示，视频的帧可以作为一组相关图片，利用协同显著性检测技术来发??现共同的前景物体［１８］。协同显著性检测也可以应用于多相机监控（Ｍｕｌｔｉ－ｃａｍｅｒａ??Ｓｕｒｖｅｉｌｌａｎｃｅ）场景中，两者的目标都是在多个相关图片中发现共同且显著的图片??区域［１９］。多相机监控任务中由于相机的位置和视角的不同，共同物体间存在巨??大的外观差异

评估协同显著性检测模型的性能，因为其中不包含共同且显著的物体。因此，协??同显著性检测研究中ＭＳＲＣ数据集中通常只包含７个图片组共２３０张图片。如??图２．１⑷所示的是此数据集内包含的“牛”和“车”图片组中的一些图片样本，??可以发现ＭＳＲＣ数据集比较简单，虽然一张图片中可能包含多个协同显著目标，??但协同显著目标间的外观差异较小，背景也比较干净。ＭＳＲＣ数据集中，对不同??颜色的同种目标不加以区分，只对目标的种类敏感。??（２）?ｉＣｏｓｅｇ数据集??ｉＣｏｓｅｇ数据集１？是一个在许多文献中被广泛对比的数据集，它包含３８个??图片组共６４３张图片，并且有手工标记的像素级协同显著性标签。图２．１（ｂ）展示??了“鸭子”、“汽车”和“僧侣”三个图片组中的一些图片样本。可以看出ｉＣｏｓｅｇ??数据集的前景外观变化较小，背景比较干净。ｉＣｏｓｅｇ对目标的颜色、纹理等低层??次信息敏感，例如图２．１（ｂ）中只有身着橙红色僧袍的僧侣被视为共同显著物体，??而同属“人类”的其他目标则被视为背景。该数据集目前的协同显著性检测指标??已经接近上限


本文编号：3539521