基于草图的精细图像检索

发布时间：2021-04-12 17:53

　　传统的基于草图的图像检索（Sketch Based Image Retrieval,SBIR）主要关注类别层次的检索,忽略了类别内的细节变化。这是不理想的,因为如果给出特定的鞋子草图（例如,高跟鞋,脚趾开口）作为查询,它可以返回任何鞋,包括具有不同语义部件的鞋（例如,平底的跑鞋）。基于草图的精细图像检索（Fine-grained Sketch Based Image Retrieval,FG-SBIR）正在成为超越传统类别层次的基于草图的图像检索的一种方式,并充分利用草图中可传达的细节。通过提供比无处不在的文本类别搜索更具表现力的交互模式,FG-SBIR是更有可能支持任何实际商业采用的图像检索技术。我们研究FG-SBIR,通过执行实例层次（而不是类别层次）检索,FG-SBIR体现了实时实用的应用程序。有三个因素造成了FG-SBIR的挑战性:（i）自由手绘草图本质上是抽象的和标志性的,使得与照片精细的视觉比较变得困难,（ii）草图（黑色线条和白色背景组成）和照片（彩色像素点组成）来着两个不同的视觉领域,（iii）当跨模态和抽象等级时,精细的区别尤其具有挑战性。为了桥接草图和图像之间巨大的... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：144 页

【学位级别】：博士

【部分图文】：

图１－１?（ａ）?ＴＢＩＲ和ＦＧ－ＳＢＩＲ对比

Ｎｅｔｗｏｒｋ，?ＧＡＮ），Ｙｅｌａｍａｒｔｈｉ?等人［６］利用?ＶＡＥ（Ｖａｒｉａｔｉｏｎ?Ａｕｔｏ?Ｅｎｃｏｄｅｒ）生成草图特征等??等深度学习方法在草图领域取得了优秀的结果，但是这些方法关注的还是类别层次??的草图识别或者检索，没有区分草图实例之间的细微区别。在图１－２中展示了最新的??基于草图的图像检索的论文的检索结果。红色框中的图像表示检索错误。从图中不??难发现，基于草图的图像检索返回结果是与查询草图同类别的图像，这些返回的图??像很多和查询的草图具有巨大的区别，很难满足用户草图检索的目的。??１．２．１．２基于草图的精细图像检索??为了弥补传统的基于草图的图像检索的不足，Ｙｉ等人在２０１４年的计算机视??觉国际会议ＢＭＶＣ？中提出了基于草图的精细图像检索（Ｆｉｎｅ－Ｇｒａｉｎｅｄ?Ｓｋｅｔｃｈ－Ｂａｓｅｄ??Ｉｍａｇｅ?Ｒｅｔｒｉｅｖａｌ）的概念，明确的指出相比较于文本等其他查询方式，草图能够精确??的体现用户想要查询的物体的细节。并且草图检索的目的应该是检索出与草图具有??相同细节的图像。但是这篇文章中将细节量化成了４个，这个是不够理想和完美的。??在２０１６年上半年，Ｑｉａｎ等人发布在计算机视觉国际顶级会议ＣＶＰＲ？的工作［２］丰富??和完善了基于草图的精细图像检索的概念，即草图检索的目的应该是检索出与草图??具有相同细节的那一张图像

从深度（同类别中样本数目）来说ＱＭＵＬ－Ｓｈｏｅ－Ｖ２／Ｃｈａｉｒ－Ｖ２［２］是目前最大的ＦＧ－ＳＢＩＲ??数据库，从广度（物体类别数目）上来说ＳｋｅｔｃｈｙＷ是目前最大的ＦＧ－ＳＢＩＲ数据库。??但是这２个常用的ＦＧ－ＳＢＩＲ数据库还是有很大差别的，如图１－３所示，Ｓｋｅｔｃｈｙ⑴中??的图像存在一定的背景，且物体朝向不固定，而ＱＭＵＬ－Ｓｈｏｅ／Ｃｈａｉｒｒａ中的图像都是??单－？背景，且朝向固定。这两个数据库相比，ＱＭＵＬ－Ｓｈｏｅ／Ｃｈａｉｒ中图像之间的差距比??较小，草图之间的差距更小导致检索更困难。对于同一张图像，不同的绘画者所画??的草阁区别也很大，同时草图与图像之间的差距也很大，很难建立对应关系。这些??都大大的增加了基于草图的精细图像检索的难度。??１．３论文的主要工作和研究成果??为了解决传统的基于草图的图像检索无法很好的满足用户的检索需求，我们完??善了基于草图的精细图像检索的概念，并提出了相对应的数据库。在这个数据库的??基础上，我们提出了同时校正实例层次和域子空间的方法以及引入部件感知的属性??检测算法来解决ｒｏ－ＳＢＩＲ中的挑战。在解决ＦＧ－ＳＢＩＲ的过程中


本文编号：3133721