基于手绘草图的视觉检索问题研究

发布时间：2021-09-05 04:19

　　本文重点研究基于手绘草图的视觉检索问题,主要包括大规模手绘草图的快速检索、基于手绘草图的细粒度图像检索、基于手绘草图的细粒度视频检索等问题。本文所完成的主要研究工作及取得的创新性成果可被概括为以下三个方面:首先,本文的第三章定义了一个新颖的研究问题,即大规模手绘草图的快速检索,以百万级数据规模的手绘草图作为数据床,探究且验证了若干大规模手绘草图所特有的数据特点,并针对性地提出了一个基于深度神经网络的哈希模型。该模型的创新之处主要在于:（1）通过卷积神经网络与双向循环神经网络并联的网络架构对手绘草图进行特征学习与表示,卷积神经网络学习手绘的几何视觉特征,双向循环神经网络学习手绘的笔画时序逻辑,通过双分支网络的并联融合实现了互补特征之间的融合与提升。（2）新颖的损失函数在引导网络训练的过程中,可以降低噪声样本对模型的影响,确保学习到的特征空间具有较好的内聚性,有效地缓解了大规模手绘草图固有的数据抽象性与噪声性问题。第三章所提出的双分支并联架构,也可以被推广到大规模手绘草图的识别任务中,并且取得了较好的实验结果。第三章还定义了另一个新颖的研究问题:即大规模手绘草图的零样本学习,并且为解决此问... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：127 页

【学位级别】：博士

【部分图文】：

图１－２?手绘样例图二??总体看来，目前互联网中的手绘数据日益增多

（ｃａｔｅｇｏｒｙ－ｌｅｖｅｌ?ｓｅｍａｎｔｉｃ）。然而，对于超大数据规模的手绘草图，存在一个特有的难??题：手绘草图具有高度的抽象性，很多语义概念上差距较大的类别却表现出相似的??外观（ａｐｐｅａｒａｎｃｅ），如果仅使用交叉熵损失函数引导模型训练，如图３．１（ａ）所示，图??中的虚线表示交叉熵损失函数引导模型学习到的特征空间中的一条分类决策边界，??狗和猪从外观角度判断属于易混淆的类别，在特征空间中往往位于分类边界的附近，??这样的现象对分类造成一定的困难。只有有效地区分手绘草图中的易混淆样本，才??能更好地实现大规模检索和快速检索。??个＾?个．个??＾?／＇??％?命?＾?、参／??，？鱗?．７＿??／?？＝．?＾?？??Ｚ?ｙ?ｙ＇??Ｕ?？?＾?？??？??（ａ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?（ｂ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?＋?ｃｏｍｍｏｎ?ｃｅｎｔｅｒ?（ｃ）?ｃｒｏｓｓ?ｅｎｔｒｏｐｙ?ｌｏｓｓ?＋?ｓｋｅｔｃｈ?ｃｅｎｔｅｒ??ｌｏｓｓ?ｌｏｓｓ??图３－１?不同损失函数引导模型学习到的手绘草图的特征空间布局示意图??２１??

ｂ？?＝?（＾？（ｆ？－０．５）?＋?ｌ）／２，?ｎｅ｛ｌ，Ｎ｝．?（３－５）??如图３－２所示，融合层在负责ＣＮＮ和ＲＮＮ双分支模型融合的同时还扮演着量化和编??码（ｑｕａｎｔｉｚａｔｉｏｎ?ａｎｄ?ｅｎｃｏｄｉｎｇ）的角色，因而也可以被称为量化编码层（ｑｕａｎｔｉｚａｔｉｏｎ？??ｅｎｃｏｄｉｎｇ?ｌａｙｅｒ）。??本章还定义了一项量化损失函数项（ｑｕａｎｔｉｚａｔｉｏｎ?ｌｏｓｓ，?ＱＬ），用于在模型训练过??程中降低由量化和编码操作带来的误差，量化损失函数项的定义如下：??７?Ｅ?丨队—ｂ，，?Ｇ?｛〇，?１｝＇?（３－６）??ｎ＝ｌ??３．３．５完整的损失函数??通过组合上述的各个损失函数项，本章所提出的哈希模型在加入了二进制离散??约束后，在最后的微调训练阶段中的损失函数变为了：??■＾ｆｕｌｌ?￣?＾ｃｅ＼?＋?Ｋｃｌ－＾ｓｃｌ?＋?＃牐?埃?牐保?模??（３－７）??其中Ｉｄ和是调节对应损失函数项权重的权重因子。本章设计了一个基于分阶段??训练（ｓｔａｇｅｄ－ｔｒａｉｎｉｎｇ）和交替迭代（ａｌｔｅｒｎａｔｉｖｅ?ｉｔ?


本文编号：3384655