基于注意力生成对抗网络的图像去雨算法研究

发布时间：2021-09-19 03:52

　　机器视觉图像中的雨线、雨滴或水滴的存在,将直接影响图像背景的清晰度,对监测系统性能造成很大的影响。如何有效地去除图像中的雨线、雨滴或水滴,提高图像的质量,是需要解决的重要课题。本文研究了基于注意力生成对抗网络的图像去雨算法,具体工作包括:1.设计出一种表示图像中雨线和雨滴通用的物理模型。该模型考虑了光线经过雨线或雨滴产生的折射和反射效应对图像的影响,同时为获取清晰的背景图,利用二进制掩码的思想创建了雨线或雨滴的注意力分布图,可将一些关于背景环境的信息提供给生成对抗网络（GAN:Generative Adversarial Networks）使用,能够提高判断是否是有雨区域的准确性。2.提出了基于注意力生成对抗网络的自然图像去雨算法。采用残差连接方式的6层注意力循环网络和对称性跳跃连接方式的上下文自动编码器,提高了网络层之间信息流传播的效率,并减轻了梯度消失现象;将视觉注意力注入到生成对抗网络中,提高了网络学习和判别雨线或雨滴区域及其环绕区域的能力,能够使生成的去雨图像背景细节更清晰。实验结果表明,该算法在图像质量评价的主、客观两方面优于比较的其它经典算法,且能够有效地适用于同时对雨线和... 

【文章来源】：天津工业大学天津市

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

含水滴的橡

第二章图像去雨技术11FOV=165°雨滴背景像素点图2-4雨滴的视觉范围6．雨滴的光度特性。雨滴的光学特性相当于在图像平面投影的情况下分析的，而雨滴的光度特性是在雨滴动态模型下分析。雨滴动态模型是在静态模型建立基础上分析的，再加入雨滴对光线的折射和反射模型共同描述运动雨滴模糊的光度模型。图2-5表示光线经过雨滴反射和折射进入相机的光线角度图。图2-5雨滴的折射，镜面反射，内部反射雨滴整体视觉亮度表达式为2221()(1(,))(,)()(,)()eNeLnkikiLskiLp==++（2-8）式中(,)N(1(,))2()ekikiLp代表雨滴对光线的内部反射作用，(,)()ekiLp表示镜面反射作用，221(,)()NekiLp=表示光线折射作用。雨滴物理模型建立都要考虑雨滴形态，大小，雨滴下落速度，在整幅图像中的空间分布，雨滴的光学特性和光度特性，基于上述雨滴物理模型目前图像中雨

第三章基于注意力生成对抗网络的自然图像去雨算法研究25Conv+ReLUxl=h(xl-1)+xl-1Conv+ReLUxl-1图3-5ResNet网络结构图该残差网络主要用于从前一块的输入图像和掩码中提取特征，每个残差块包括2层卷积核为3ⅹ3的卷积加上ReLU非线性激活函数进行图像特征的提取，相比较传统的卷积层或全连接层在图像特征提取时都会存在一定的特征信息丢失、损耗等问题。而残差卷积层之间都有直接的连接，任一卷积层的输入都是前面所有卷积层输出的并集，同时，该卷积层所学习到的特征图都会作为后面所有卷积层的输入，这就保证了特征提取的完整性。2．长短期记忆卷积网络。主要学习雨线、雨滴的注意力分布图。经过长短期记忆网络后的卷积层的结果是一个从0到1的矩阵，与二进制掩码不一样的是，此矩阵是一个非二进制映射，在0到1区间的值不断变化，代表从非雨区域到有雨区域逐渐增加注意力，值越接近1代表注意力越大。由于雨线、雨滴的周围区域也需要注意，而且有雨区域的透明度实际上也不尽相同(有些部分并不完全遮挡背景，因此传达一些背景信息)。LSTM结构细节如下图3-6所示。图3-6ConvLSTM网络原理图由残差网络提取的雨线、雨滴特征图和初始化的注意图分布图拼接传递到


本文编号：3400958