基于多层语义特征的图像匹配研究

发布时间：2021-02-17 04:24

　　图像匹配旨在对于语义相似的图像生成像素级别的对应关系,即图像间相关性的流场。由于图像匹配任务的基础性,其准确率的增加和计算效率的提升对计算机视觉的诸多应用型任务都有着不可忽视的意义。图像匹配作为重要的理解图像语义和像素点之间的对应关系的任务,仍有许多需要解决的问题,尤其对于种类级别的图像匹配任务,图像拍摄的角度变化,待匹配物体的尺度变化,复杂背景的干扰,都为图像匹配任务带来了巨大的干扰。因此本文将从如何应对图像匹配的两个巨大差异问题出发,即低层图像信号与实际高层语义之间的巨大差异和待匹配图像对之间的巨大类内差异,有效利用特征金字塔和环一致性约束完成层次化的图像匹配。首先构建了基于图像多层语义的特征金字塔完成图像由语义结构到细节结构的层次化匹配,然后将环一致性的概念引入图像匹配的任务中完成对模型的优化,主要工作如下:首先,提出了一种基于卷积神经网络的图像匹配方法,通过对卷积神经网络特征与图像视觉信息的对应关系分析,证明了卷积神经网络逐层特征与图像层次化匹配的对应关系,确认其应用于图像密集语义匹配的有效性。通过利用图像信息表达更完善、更有益于图像匹配任务的卷积神经网络特征,从匹配对象特征层... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图像匹配的应用方向：标签传播有目标级别匹配的困难，诸如光照和角度等问题，还存在同一种类不同物体之间

对图片中主要物体的标注。考虑到待匹配图像对之间的变化，图像匹配问题可以分为目标级别的图像匹配和种类级别的图像匹配。如图1-2所示，图1-2(a) 展示的两张图像是不同拍摄时间和角度下的同一个建筑物，这是目标级别的图像密集语义匹配所产生的部分流场，图1-2(b) 中待匹配图像对是同一种类但不同物体的匹配目标，属于种类级别的图像密集语义匹配的结果。相对于种类级别的图像匹配，目标级别的图像匹配是相对简单的问题，通常是两个图像是由于运动改变位置的相同对象，或者是具有仿射变换的相同场景，例如视频序列中的动态场景。即使只根据亮度一致性的假设

但是，当语义一致区域的精确外观仅在高级结构上相似时，或者当优化器无法滤除背景杂波的噪声时，图像匹配的方法需要克服物体尺度的差异（如图1-3(a)），拍摄角度的变化（图1-3(b)），复杂背景的影响（图1-3(c)），类内物体表观的不同（图1-3(d)）。在这些情况下，L1 度量不足以估计语义一致区域的可能性。此外，平等对待所有区域也可能损害匹配性能。图 1-3 图像匹配技术的难题- 8 -

【参考文献】：
期刊论文
[1]基于差分图象的多运动目标的检测与跟踪[J]. 王栓,艾海舟,何克忠.  中国图象图形学报. 1999(06)



本文编号：3037429