基于伪模态转换的红外目标融合检测算法

发布时间：2020-12-10 10:27

　　为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率. 

【文章来源】：光子学报. 2020年08期 第176-188页 北大核心

【文章页数】：13 页

【部分图文】：

提出算法的结构示意图

CycleGAN是近年提出的一种无需匹配样本的图像到图像转换框架，旨在通过降低对抗性损失获得映射函数F:Y→X和G:X→Y，其中X和Y分别是源域（红外图像）和目标域（可见光图像）.如图2，函数将图像映射到两个独立的潜在空间，由两个生成器Gx→y,Fy→x和两个鉴别器Dx,Dy构成.生成器Gx→y尝试生成与域Y相似的图像y?i，而Dy用于区分转换的样本y?i和真实样本yi.为了减少可能的映射函数的空间，确保源域图像xi在被转换成目标域（y?i）并重新变换回到源域（x?i）时x?i和xi将属于相同的分布，实施周期一致性约束.图2(a）表示该模型包含两个映射函数G:X→Y和F:Y→X，以及相关的对抗鉴别器Dx和Dy.Dy支持G将X转换为与域Y不可区分的输出；同理，Dx支持F将Y转换为与域X不可区分的输出.为了进一步正则化映射关系，引入循环一致性损失必须符合以下原则：如果从一个域转换到另一个域，然后再返回，应该到达源域.相应地，图2(b）表示前循环一致性损失，图2(c）则表示后循环一致性损失：

期望的底层映射用H(x)表示，用来叠加的非线性层为F(x)=H(x)-x，则原始映射重新转换为F(x)+x，那么优化残差映射要比优化原始的未参考映射更容易.F(x)+x可通过前馈神经网络Shortcut Connections实现，Shortcut Connections可跨过一个或多个层的连接.重新将残差单元定义为图4 改进的双模态特征提取残差网络

【参考文献】：
期刊论文
[1]基于多特征融合与ROI预测的红外目标跟踪算法[J]. 刘辉,何勇,何博侠,刘志,顾士晨.  光子学报. 2019(07)
[2]复杂地面背景下的红外目标检测算法[J]. 宁强,秦鹏杰,石欣,李文昌,廖亮,朱家庆.  光子学报. 2019(04)



本文编号：2908542