注意力生成对抗网络在单幅图像雨滴去除中的应用研究

发布时间：2020-05-14 11:57

【摘要】：雨天是常见的恶劣天气,图像受雨滴影响会产生严重退化,导致计算机自动检测、跟踪等性能的降低。生成对抗网络具有强大的特征学习和特征表达能力,将其与注意力机制相结合,可以根据注意力机制所关注的区域,以对抗训练的思想生成更高质量的图像,为计算机视觉应用提供了新的技术和手段。它在图像的雨滴去除中,已取得较好效果。去除雨滴的影响,还原背景场景,将有利于图像后续处理。为此,本文主要工作内容如下:首先,本文对基于注意力生成对抗网络的雨滴去除方法进行分析,该方法将注意力机制与生成对抗网络相结合,在进行雨滴去除时,采用雨滴图像与干净图像相减来引导循环网络生成雨滴注意力图,只关注了雨滴区域的恢复,忽略了雨滴图像中背景物体的边缘结构,导致去雨之后的边缘细节模糊。本文针对此不足,利用导向图滤波获取雨滴区域及边缘信息,采用循环神经网络引导雨滴区域生成雨滴注意力图,将雨滴注意力图加入到生成对抗网络模型中训练,并在模型中引入特征空间、像素空间上的损失,以调整雨滴去除效果的细节,使得生成图像更加清晰。分别在雨滴密集和稀疏的两种情况下,将本文方法与其他去雨方法进行对比实验,并将实验结果进行分析比较。实验表明,本文优化的去雨方法在视觉效果和客观指标上具有较好的效果。然后,将优化后的雨滴去除方法应用于视频图像去雨中。考虑到视频去雨的实效性与视频相邻帧之间的较小差异,本文对视频分帧后,只对奇数帧进行操作,先对雨滴视频帧进行压缩,然后用优化之后的注意力生成对抗网络去雨方法进行雨滴去除。实验结果表明本文方法应用到窗内拍摄的雨滴视频具有较好的雨滴去除效果。
【图文】：

基于字典学习稀疏编码的单幅图像去雨方法对于雨条纹的去除有一定的效果，然逡逑而这些方法应用于附着雨滴的单幅图像效果却不好，因为雨滴下落时的物理性质逡逑和外观与附着雨滴有很大的不同。图１．１分别为下落雨滴和附着雨滴。逡逑（ａ）下落雨滴逦（ｂ）附着雨滴逡逑图１．邋１雨滴图像逡逑对于静态的附着雨滴，Ｅｉｇｅｎ等人主要针对透过窗户拍摄的雨滴图像，通过逡逑卷积神经网络，对雨滴图像和对应的干净图像提取特征，，学习如何将有雨图像映逡逑射到干净的图像上，从而去除雨滴，然而只能处理较小雨滴。石晓晴Ｍｌ将雨滴检逡逑２逡逑

图２．邋１卷积的计算逡逑（３）激励层。卷积层的计算是一种线性运算，而激励层主要对卷积层的输出进逡逑行一个非线性映射。激励函数所在的层为激励层，下面分别介绍Ｒｅｌｕ、Ｓｉｇｍｏｉｄ、逡逑
【学位授予单位】：云南大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【参考文献】

相关期刊论文 前3条

1 徐波;朱青松;熊艳海;;视频图像去雨技术研究前沿[J];中国科技论文;2015年08期

2 陈添丁;胡鉴;吴涤;;稀疏光流快速计算的动态目标检测与跟踪[J];中国图象图形学报;2013年12期

3 王燕霞;张弓;;一种改进的用于稀疏表示的正交匹配追踪算法[J];信息与电子工程;2012年05期

相关硕士学位论文 前5条

1 王海;基于生成对抗网络的图像去雾研究[D];湘潭大学;2018年

2 王培森;基于注意力机制的图像分类深度学习方法研究[D];中国科学技术大学;2018年

3 石晓晴;单幅图像中雨滴检测与去除方法的研究[D];北京交通大学;2016年

4 耿彪;视频图像中雨滴去除技术研究[D];合肥工业大学;2012年

5 沈凤龙;雨天气条件下图像复原方法研究[D];沈阳理工大学;2009年

本文编号：2663316