基于草图的交互式图像搜索与融合系统

发布时间：2021-12-11 22:49

　　在触摸屏智能设备（手机、平板电脑、交互电视）逐渐普及的今天,人们对于网络上多媒体信息的需求产生了爆炸式增长。图像处理和检索技术的最新进展给“所想即所得”的设想提供了一种可能:根据自己脑海中想象的场景合成真实图片。这将是一个“从无到有”的创造性的过程,核心是通过手绘草图检索所需要的图片素材来进行融合。然而,现阶段大部分的图像检索方法都无法满足用户的这一要求。同时,如何使得合成的图片更加真实也是困扰许多研究者的问题。为此,本文首次提出并实现了一套通过草图来检索物体图片并合成现实图片的系统。在图像检索阶段,系统以日常复杂场景图片为底库,采用了一种基于草图的场景图片检索方案。用户只需要输入某一物体的草图,返回结果是出现该物体的某一场景图片。首先,我们利用物体检测算法,将复杂的非图标型场景图片转化为若干图标型物体图片;借助于深度神经网络强大的学习能力,将草图与真实图片映射到同一特征空间进行表示,从而打破草图与真实图片间的巨大差异;为了进一步提高检索效果,借助于物体检测时获取的标签,对初始结果进行重排序,使得检索结果能够兼顾草图的细节以及类别。在图像合成阶段,本文提供的算法能够在梯度域内将物体融合... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：63 页

【学位级别】：硕士

【部分图文】：

图２－丨基于传统方法的草图检索??基于形状特征的草图特征表示

ＪｊＪ?Ｊ（．Ｊ??５ｉ??图２－２细粒度的草图检索数据集??虽然草图检索研宄领域存在着各种各样的方法，但我们也注意到：目前草图??检索还主要集中于处理图标型物体或者场景图片，对于日常生活中的复杂图片，??还没有人进行过尝试。基于以上存在的问题，结合之前的相关研宄，我们进行了??探索性的尝试。同时提出了一种基于目标的场景式草图检索模型，使得检索曰常??复杂图片成为可能。??２．１．３基于草图检索的图像合成??ｓｕｎｓｃｉ?ｂｅａｃｈ??必ｎ％??图２－３?Ｓｋｅｔｃｈ２Ｐｈｏｔｏ合成示例??２００９年，清华大学的研究人员研发了一套通过关键字以及草图的方式进行图??像合成的系统一Ｓｋｅｔｃｈ２Ｐｈｏｔｏ［ｌ］，如图２－３所示展示了?Ｓｋｅｔｃｈ２Ｐｈｏｔｏ的合成示例。??该套系统以互联网上的大量图片为基础，首先利用关键字搜索目标图片，然后利??用用户绘制的草图

ｓｕｎｓｃｉ?ｂｅａｃｈ??必ｎ％??图２－３?Ｓｋｅｔｃｈ２Ｐｈｏｔｏ合成示例??２００９年，清华大学的研究人员研发了一套通过关键字以及草图的方式进行图??像合成的系统一Ｓｋｅｔｃｈ２Ｐｈｏｔｏ［ｌ］，如图２－３所示展示了?Ｓｋｅｔｃｈ２Ｐｈｏｔｏ的合成示例。??该套系统以互联网上的大量图片为基础，首先利用关键字搜索目标图片，然后利??用用户绘制的草图，结合显著性过滤、场景物体分割、轮廓一致性过滤以及内容??一致性过滤等操作来得到满意搜索结果，最后利用搜索结果合成一张自然图片。??这套系统有以下两个明显缺点：１．基于文本关键字搜索互联网图片，严重依赖于??文本信息，一定意义上并不是真正的草图搜索，搜到的图片往往以关键字为主体，??以此为后续的分割算法做准备；２．搜到大量图片后


本文编号：3535538