基于深度学习的自然场景下图像去雨研究
发布时间：2021-06-08 23:12
目标检测、识别、跟踪等计算机视觉算法近些年来获得了快速的发展,并被广泛应用于智能交通、公共安全和环境保护等领域的监控系统中。然而,在户外应用场景下,特别是面对雨雾等恶劣天气状况时,这类监控系统常由于图像降质而功能失效。如何克服恶劣天气的影响,提高图像质量,扩展现有视觉系统的适用范围是亟待解决的重要问题,具有重要的理论意义和使用价值。虽然现有的图像清晰化方法取得了 一些富有成效的结果,但是在面对复杂的雨雾天气是,这些算法仍然无法满足对图像修复质量以及处理速度的要求,尤其在局部区域平滑和细节纹理保护的问题上,亟待更先进的理论和技术方案被提出。除此之外,对于深度学习去雨方法,多个任务损失之间的协同作用与损失函数的鲁棒性都是值得关注的研究方向。本文从以上问题入手,研究基于深度学习的单幅图像去雨方法。具体地,本文在雨天图像清晰化方面做了如下工作:（1）提出有别于现有方法的描述图像质量的多约束目标,通过对图像内容、边缘、局部纹理自相似三方面进行定量描述并设计相应的约束损失,增强训练过程中对模型求解空间的紧性限制,从而降低预测图像的模糊失真程度;（2）提出两种动态加权算法用于多任务系数设定,分别从梯...
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
图２．?１?—些现实生活中拍摄的物体清晰度受雨水影响的图像??Ｆｉｇ．?２．１?Ｓｏｍｅ?ｒｅａｌ－ｗｏｒｌｄ?ｒａｉｎ?ａｆｆｅｃｔｓ?ｉｍａｇｅｓ?ｏｆ?ｏｂｊｅｃｔ?ｃｌａｒｉｔｙ??—２
?基于深度学习的自然场景下图像去雨研究???务任务损失对共享卷积层的梯度范数１Ｔ，和所有任务损失??对共享卷积层的总梯度范数然后通过每一个任务的梯度范数与??总的梯度范数的比值确定每一个任务的权重系数。??３．３?多任务増强的图像去雨模型??如图３．１所示，本文的网络架构由两个模块组成：去雨网络／？，和损失网络＾。其??中，去雨网络负贵将输入的爾天图像Ｏ转换为清晰的去雨图像６，形式化描述为??乂，，：０－＞６?，网络中的跳跃连接［３Ｓ，５２Ｉ是为了让网络的训练更加容易，同时也是为了保持??信息流畅通。对于损失网络，它将无雨的背景图像厶和模型预测的去雨图像Ｍ乍为输入，??并输出它们相应的特征图扒５）和利句，然后利用公式（３．４）计特征图之间的距离。特别地，??本文不使用资源消耗量较大的预训练ＶＧＧ１６／１９网络作为本文的损失网络，而是使用一??个效率更高的浅层前向神经网络代替。下面本文将对各个子部分进行详细介绍。??ｃｈａｔｍｌｅ?ａｒｕｉｎｔｉｏｎ?ｍｏｄｕｌｅ?ｆ?＾??＾＝７｜?????Ｊ?ｌｌｌｌ：Ｆ?：?＊??：?．Ｑ－??Ｉｎｐｕｔ?Ｉｍａｇｅ?＾?■?Ｄｅ－ｒａｉｎｉｎｇ?ｉｍｓｇｅ?：?Ｇｒｏｕｎｄ?ｔｒｕｔｈ?：?（ｌ＾）??＂Ｌ—＿??????：?［＝？■—？?ｉ??图３．１多任务增强去雨框架??Ｆｉｇ．?３．１?Ｏｖｅｒｖｉｅｗ?ｔｈｅ?ｐｉｐｅｌｉｎｅ?ｏｆ?ｐｒｏｐｏｓｅｄ?ｄｅ－ｒａｉｎｉｎｇ?ｎｅｔｗｏｒｋ??在图像恢复任务中，通常都会在卷积网络的初始几层中应用下采样操作（例如最大??池化）降低输入的空间分辨率以加快网络的前向传播速度。但是，常见的下
?大连海事大学硕士学位论文???Ｕ（Ｄ（Ｘ））?＝?Ｘ，?（３．８）??其中，ｆ／和Ｚ）分别表示亚像素卷积上采样和逆亚像素卷积下采样函数。如图所示，逆??亚像素卷积可以将空间特征重新排列成通道以减小空间维度且不丢失信息，因此可以提??供充足的信息给后续的卷积层。??ｘ２?Ｄｅｓｕｂｐｉｘｅｌ??ｊ?１?????????ｎｌ——??：ｙ?．．?■－．；．：■?ｘ２?Ｓｕｂｐｉｘｅｌ?Ｌ????图３．?２亚像素（ｓｕｂｐｉｘｅｌ）卷积与逆亚像素（ｄｅｓｕｂｐｉｘｅｌ）卷积??Ｆｉｇ．?３．２?Ｓｕｂｐｉｘｅｌ?ｕｐｓａｍｐｌｉｎｇ?ａｎｄ?ｄｅｓｕｂｐｉｘｅｌ?ｄｏｗｎｓａｍｐｌｉｎｇ??本文在图３．３中展示了?２倍下采样时，不同采样方法当前层中的每个神经元对下一??层卷积的影响［？，并对其进行了分析。图中从左至右依次为步长为２的３Ｘ３卷积、２Ｘ??２的最大池化、双线性插值以及逆亚像素卷积，图中颜色越深表示影响越高。??Ｉ?｜?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?ｊ?￣｜?｜?Ｉ￣ｒ｜?］?１?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?ｒ￣￣＼?ｊ￣￣ｒ￣Ｉ?ｒ￣ｉ?￣ｎ??—二二－二－二二—ｔ」?Ｉ?＊?１?Ｉ??工二＝二］．?＝?［Ｚ二二二??土＝：：二．．Ｃ■■關］??：?ｒ－?ＩＩ?＾?ｐ＞－，ｐｆｒ?｜?Ｉ??ｉ?ｉｔ?ｎ?ｍ?Ｔｉｉ?ｍ?ｉ?ｉ?ｉｉ?１１?ｌ?．．．．?ｊ?１１?１??Ｃｏｎｖ?３?ｘ?３，?／２?２ｘ２?Ｍａｘ?ｐｏｏｌｉｎｇ?Ｂｉｌｉｎｅａｒ?ｘ２?ｄｃｓｕｂｐｉｘｅｌ??图３．?３不同下采样方法对下一层卷积的影响??Ｆｉｇ．?３．３?Ｅ
【参考文献】：
期刊论文
[1]视频图像去雨技术研究进展[J]. 周浦城,周远,韩裕生. 图学学报. 2017(05)
本文编号：3219405
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
图２．?１?—些现实生活中拍摄的物体清晰度受雨水影响的图像??Ｆｉｇ．?２．１?Ｓｏｍｅ?ｒｅａｌ－ｗｏｒｌｄ?ｒａｉｎ?ａｆｆｅｃｔｓ?ｉｍａｇｅｓ?ｏｆ?ｏｂｊｅｃｔ?ｃｌａｒｉｔｙ??—２
?基于深度学习的自然场景下图像去雨研究???务任务损失对共享卷积层的梯度范数１Ｔ，和所有任务损失??对共享卷积层的总梯度范数然后通过每一个任务的梯度范数与??总的梯度范数的比值确定每一个任务的权重系数。??３．３?多任务増强的图像去雨模型??如图３．１所示，本文的网络架构由两个模块组成：去雨网络／？，和损失网络＾。其??中，去雨网络负贵将输入的爾天图像Ｏ转换为清晰的去雨图像６，形式化描述为??乂，，：０－＞６?，网络中的跳跃连接［３Ｓ，５２Ｉ是为了让网络的训练更加容易，同时也是为了保持??信息流畅通。对于损失网络，它将无雨的背景图像厶和模型预测的去雨图像Ｍ乍为输入，??并输出它们相应的特征图扒５）和利句，然后利用公式（３．４）计特征图之间的距离。特别地，??本文不使用资源消耗量较大的预训练ＶＧＧ１６／１９网络作为本文的损失网络，而是使用一??个效率更高的浅层前向神经网络代替。下面本文将对各个子部分进行详细介绍。??ｃｈａｔｍｌｅ?ａｒｕｉｎｔｉｏｎ?ｍｏｄｕｌｅ?ｆ?＾??＾＝７｜?????Ｊ?ｌｌｌｌ：Ｆ?：?＊??：?．Ｑ－??Ｉｎｐｕｔ?Ｉｍａｇｅ?＾?■?Ｄｅ－ｒａｉｎｉｎｇ?ｉｍｓｇｅ?：?Ｇｒｏｕｎｄ?ｔｒｕｔｈ?：?（ｌ＾）??＂Ｌ—＿??????：?［＝？■—？?ｉ??图３．１多任务增强去雨框架??Ｆｉｇ．?３．１?Ｏｖｅｒｖｉｅｗ?ｔｈｅ?ｐｉｐｅｌｉｎｅ?ｏｆ?ｐｒｏｐｏｓｅｄ?ｄｅ－ｒａｉｎｉｎｇ?ｎｅｔｗｏｒｋ??在图像恢复任务中，通常都会在卷积网络的初始几层中应用下采样操作（例如最大??池化）降低输入的空间分辨率以加快网络的前向传播速度。但是，常见的下
?大连海事大学硕士学位论文???Ｕ（Ｄ（Ｘ））?＝?Ｘ，?（３．８）??其中，ｆ／和Ｚ）分别表示亚像素卷积上采样和逆亚像素卷积下采样函数。如图所示，逆??亚像素卷积可以将空间特征重新排列成通道以减小空间维度且不丢失信息，因此可以提??供充足的信息给后续的卷积层。??ｘ２?Ｄｅｓｕｂｐｉｘｅｌ??ｊ?１?????????ｎｌ——??：ｙ?．．?■－．；．：■?ｘ２?Ｓｕｂｐｉｘｅｌ?Ｌ????图３．?２亚像素（ｓｕｂｐｉｘｅｌ）卷积与逆亚像素（ｄｅｓｕｂｐｉｘｅｌ）卷积??Ｆｉｇ．?３．２?Ｓｕｂｐｉｘｅｌ?ｕｐｓａｍｐｌｉｎｇ?ａｎｄ?ｄｅｓｕｂｐｉｘｅｌ?ｄｏｗｎｓａｍｐｌｉｎｇ??本文在图３．３中展示了?２倍下采样时，不同采样方法当前层中的每个神经元对下一??层卷积的影响［？，并对其进行了分析。图中从左至右依次为步长为２的３Ｘ３卷积、２Ｘ??２的最大池化、双线性插值以及逆亚像素卷积，图中颜色越深表示影响越高。??Ｉ?｜?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?ｊ?￣｜?｜?Ｉ￣ｒ｜?］?１?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?ｒ￣￣＼?ｊ￣￣ｒ￣Ｉ?ｒ￣ｉ?￣ｎ??—二二－二－二二—ｔ」?Ｉ?＊?１?Ｉ??工二＝二］．?＝?［Ｚ二二二??土＝：：二．．Ｃ■■關］??：?ｒ－?ＩＩ?＾?ｐ＞－，ｐｆｒ?｜?Ｉ??ｉ?ｉｔ?ｎ?ｍ?Ｔｉｉ?ｍ?ｉ?ｉ?ｉｉ?１１?ｌ?．．．．?ｊ?１１?１??Ｃｏｎｖ?３?ｘ?３，?／２?２ｘ２?Ｍａｘ?ｐｏｏｌｉｎｇ?Ｂｉｌｉｎｅａｒ?ｘ２?ｄｃｓｕｂｐｉｘｅｌ??图３．?３不同下采样方法对下一层卷积的影响??Ｆｉｇ．?３．３?Ｅ
【参考文献】：
期刊论文
[1]视频图像去雨技术研究进展[J]. 周浦城,周远,韩裕生. 图学学报. 2017(05)
本文编号：3219405
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3219405.html
