基于异构孪生网络的图像匹配算法研究

发布时间：2021-04-15 02:12

　　图像匹配技术是计算机视觉领域的关键技术之一,在各个方面均有着广泛的应用。传统的图像匹配算法依靠浅层特征,在现实应用中,为适配特征,需耗费大量时间制作模板,操作过程复杂,效率较低。且算法抗干扰能力较差,对图像视点变换等情况适应性一般。本文针对此情况,利用深度学习强大的特征提取能力,将深度神经网络应用于图像匹配,研究了基于异构孪生网络的图像匹配算法。本文首先在现有的相似度比较网络基础上,初步设计了两个图像匹配网络,并对网络的优缺点进行了分析。其次,将匹配流程与传统算法类似的全卷积孪生网络进行改进,先将基础网络替换为ResNet18,并融合网络底层与顶层特征,同时考虑到支路特征及度量的不对称性,最终设计了两种异构孪生特征金字塔网络（HeS-FPNv1、v2）。并将模板与待匹配图相关卷积方式改为深度可分离型卷积,提高实时性。同时摒弃了原始全卷积孪生网络的多尺度模板,在相关卷积后加入区域选取网络（RPN）自动生成多尺度匹配结果,并结合图像匹配的特点,改变传统RPN网络正负样本的选取方式,设计了相应的损失函数,且加入梯度约束损失项,提升网络性能。为进一步提升匹配精度,本文借鉴孪生区域选取网络,设计... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：107 页

【学位级别】：硕士

【部分图文】：

模板选取示意图

差、互相关、归一化互相关等，也可通过深度神经网络来自动学习度量方法。传统相似度度量方式往往只在一定条件下有效，对于变化较大的目标，深度神网络的效果远远优于传统方法。2.2 匹配影响因素分析图像匹配中存在着不少干扰因素，如形状变化、光照影响、遮挡、模糊、相似景干扰等，设计一个鲁棒性强的匹配算法，尽可能适应干扰影响，有着不少的难度1)形状变化在实际场景中，由于传感器成像的时间、角度等不同，成像目标的整体形状都可能发生极大的变化，特别是非刚性的形状变化，极大影响了匹配的效果。如图 2-3 所示：

图 2-4 光照变化示意图受光照影响，汽车上的阴影分布不同，目标整体像素值发生改变，部分结构由暗变明，部分由明变暗，有着一定的干扰。3)遮挡干扰遮挡指带匹配图中的目标部分不在视野中，使得整体特征损失，如图 2-5 所示：图 2-5 遮挡干扰示意图图中小女孩被挡住了一部分，在人肉眼也无法精确定位目标整体的情况下，对于


本文编号：3138467