基于改进全卷积神经网络的红外与可见光图像融合方法

发布时间：2024-06-01 18:59

　　基于深度学习的图像融合技术易丢失网络浅层特征信息,难以实现图像的精准识别。提出一种利用全卷积神经网络(FCN)提取特征的红外与可见光图像融合方法。采用非下采样剪切波变换(NSST)对源图像进行多尺度和多方向分解,生成高频子带和低频子带图像,将高频子带输入FCN模型提取多尺度特征,并生成高频子带特征映射图,使用最大加权平均算法完成高频子带的融合,同时采用区域能量和融合策略融合低频子带,对融合后的高频子带和低频子带进行NSST逆变换,得到最终的融合图像。实验结果表明,与GFF、WLS和IFE等方法相比,该方法融合图像的主观视觉效果和客观评价指标更好。

【文章页数】：8 页

【部分图文】：

图1NSST图像分解过程

NSST图像分解包括多尺度分解和多方向分解。在采用非下采样金字塔变换(NSP)实现图像多尺度分解过程中,图像经过k级尺度分解后,得到k+1个与源图像大小相等的子图像,其中有m个高频子带图像和1个低频子带图像。在多方向分解过程中,采用剪切滤波器(SF)实现图像多方向分解。NSST图....

图2图像融合框架

4)进行NSST逆变换得到融合图像。2.2FCN模型构建与训练

图3FCN模型结构

网络结构对卷积神经网络的功能发挥起着重要作用,本文在文献[20-21]研究的基础上,提出一种新的FCN模型,该模型包括卷积(conv)层、relu层、池化(pooling)层和反卷积(deconv)层,其结构如图3所示。FCN模型的特征提取部分共有7个模块,在每个卷积层中,交替使....

图4采用FCN模型提取的红外与可见光图像高频子带特征映射图

图4为采用FCN模型提取的红外与可见光图像高频子带特征映射图。可以看出,图像边缘特征和纹理特征被保留,保证了高频图像信息完整性。通过最大加权平均算法将图像边缘特征和纹理特征进行有效融合,得到分辨率和清晰度较好的高质量融合图像。2.4图像重构

本文编号：3986335