任务驱动的深度学习图像增强研究

发布时间：2020-10-30 04:44

　　 随着数字图像应用的不断普及,图像增强技术的重要性也愈发凸显。进几年来,深度学习技术的不断进步带动了图像增强算法性能的提升,但目前提高深度网络的学习效率,提升算法在实际场景中的性能以及根据任务导向优化算法等方面仍面临着一些挑战。本文基于实际的增强任务,对其中的一些挑战进行了研究和讨论。首先,图像颜色的好坏是影响观看体验的重要因素之一。我们根据颜色增强需要兼顾整体风格和局部调整的特性,提出了一个通道级全局线性增强和像素级局部非线性增强相结合的多层级增强算法,该算法通过两个级联的卷积神经网络实现。其中,通道级全局增强是基于输入图像红绿蓝三通道的线性映射,映射系数由一个卷积神经网络预测。像素级局部增强则通过另一个卷积神经网络实现像素到像素的局部微调,并且在网络中引入了非局部模块加强局部的关联。全局增强能够保留较好的整体颜色一致性,局部增强则能抑制局部的颜色失真。实验结果表明所提出的方法中各个模块都能在一定程度上提升整体性能,并且完整算法的性能在量化指标和主观质量上都超过了一些目前最先进的算法。其次,实际场景中的图像失真比较复杂,容易出现多种不同类型的失真叠加的情况。我们受到深度图像先验的启发,提出了一个基于双重先验学习的混合多失真增强算法,算法框架由图像先验网络和失真先验网络构成。其中图像先验网络利用图像内在先验从随机噪声生成清晰图像,失真先验网络则根据输入图像预测包含的失真类型和失真等级,再通过失真模型将清晰图像转换成失真图像以此反向约束生成的清晰图像。对抗学习的采用使得图像先验网络增强结果的分布与真实清晰图像的分布相近以进一步加强主观质量。我们对所提出算法进行了详细的实验验证,实验结果表明所提出的算法相比于原始的深度图像先验能更有效地处理未知失真类型和等级的混合多失真图像。此外,目前的增强算法普遍存在一些维度的质量不可兼得的问题。基于此现象,我们进一步讨论了基于深度网络的颜色增强模型和混合多失真增强模型在任务导向下的优化。其中,针对颜色增强模型,本文讨论了常见的感知损失函数和对抗训练的影响。针对混合多失真增强模型,则讨论了引入同样由深度网络构成的识别模型计算识别损失函数并反向优化增强模型的影响。
【学位单位】：中国科学技术大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.41;TP8
【部分图文】：

一些专业的??学习和经验的积累。并且，当要处理大量图片时，手动颜色增强也是一件十分消??耗时间的事情。为了解决上述问题，自动颜色增强（ａｕｔｏｍａｔｉｃ?ｃｏｌｏｒ?ｅｎｈａｎｃｅｍｅｎｔ）??技术应运而生。该任务的难点在于由于人眼的感知特征十分复杂，所以每个像素??的映射通常来说是非线性的，并且还同时受到整体（ｇｌｏｂａｌ）的风格，局部（ｌｏｃａｌ）??的颜色和上下文（ｃｏｎｔｅｘｔ）关联的影响。??■■??（ａ）原始（Ｒａｗ）图像?（ｂ）修饰后的（Ｒｅｔｏｕｃｈｅｄ）图像??图１．１?一个图像修饰样例??对基于数字图像的检测识别系统而言，由于图像采集环境和采集设备的多??１??

?第１章绪?论???样性，现实场景中运动，光照，噪声，天气，图像压缩等干扰因素都可能会影响??系统的稳定性。如图１．２，（ａ）－（ｅ）分别为真实场景中运动模糊，低光照，噪声，雾，??压缩引起的图像失真。利用增强算法对这些失真图像进行增强以还原出清晰的??图像能够降低干扰因素的影响，保持检测识别系统的准确性。在实际情形下，也??容易出现多种失真的叠加，如图１．２，⑴出现了低光照，噪声，模糊多种失真。由??于不同失真的特性不一样，很难通过单一失真处理算法解决所有的失真。如果采??用不同失真依次处理的方式，前一个处理完的结果也会对后续的增强造成干扰。??因此，实际场景中混合多失真的增强处理是一个重要的挑战。??Ｂｎ??ＨＢＨ?ｔ?Ｔ：?Ｍ??⑷．运动模糊?（ｂ）．低光照?（ｃ）．噪声??親Ｒ／??⑷．雾?（ｅ）．压缩?（ｆ）？混合多失真??图１．２现实场景图像失真样例??近几年来，深度学习帮助不少计算机视觉任务（比如图像识别［１＿５］，目标检??测［６＿１（）］，语义分割［９，Ｕ＿１４］等）取得了突破性的提升。与此同时，深度学习方法的??引入也极大地促进了图像增强技术（比如颜色增强，去模糊，图像超分辨等）的??发展。通过构建成对的数据集训练卷积神经网络的方法相比于传统的方法具有??更强的泛化性能，但目前也仍面临一些挑战。??首先，如何设计更优的网络结构以提升增强性能或者降低计算复杂度是当??前一个重要的研究方向。一方面，对于不同的退化失真需要研究设计高效通用的??特征学习的网络结构和模块，比如通用的残差模块［２］?（ｒｅｓｉｄｕａｌ?ｂｌｏｃｋ），密集连??接［４］?（ｄｅｎｓｅｃｏｎｎｅｃｔｉｎｇ）

?第２章卷积神经网络基础简介???第２章卷积神经网络基础简介??本章我们将介绍一些卷积神经网络的通用技术，这些内容是后续章节研究??内容的基矗目前深度学习技术的发展呈现出日新月异的状态，涌现出了大量基??础性的工作，为实际应用提供了支撑。由于篇幅有限，在本章节我们只简单介绍??本文研究内容中会用到的方法。??２．１全连接??全连接［６７］?（ＦｕｌｌｙＣｏｎｎｅｃｔｅｄ，?ＦＣ）在神经网络前馈时实现的是向量到向量的??映射，且输出向量中的每一个元素都由输入向量中所有元素加权求和计算而来??（如图２．１）。??广一＇＇Ｘ?－—－＾（?２／１?）?ｙ＼?＝ｂｘ?■＋■?ｙ＂?ｕｊｕＸｊ??广一／?（?Ｖ２?）?＝?ｉ＞２?＋?５３??（：！；?／?Ｖ??？?／?－??？?／?（?ｙｍ?１?ｙｍ?＝?ｂｍ?＋??０??图２．１全连接层线性运算示意图??假设输入ｎ维的特征向量Ｘ，?为ｍｘ？的权值矩阵，６是偏置向量，ｙ为输??出向量，贝Ｕ??ｙ?＝?ｃｏｘ?＋?ｂ，?（２．１）??该运算的总参数量为ｗ?Ｘ?ｎ?＋?ｍ。??２．２卷积??卷积［６７］是卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）中最基础的??操作之一。卷积是一种简单的线性运算，如图２．２所示，通过卷积核在输入特征??上滑动并计算局部的加权和可得到输出特征上的对应值。??８??
【相似文献】

相关期刊论文 前10条

1 林森;刘世本;唐延东;;多输入融合对抗网络的水下图像增强[J];红外与激光工程;2020年05期

2 姜雪松;姚鸿勋;;夜晚图像增强方法综述[J];智能计算机与应用;2020年03期

3 朱明秀;;极端天气条件下舰船图像增强方法[J];舰船科学技术;2020年12期

4 田煜衡;;基于暗通道模型的农业用机井水下图像增强算法[J];广东蚕业;2020年03期

5 孙玲姣;;基于Retinex理论的图像增强算法研究[J];数码世界;2016年12期

6 朱振军;贾少华;;QMV141型微光图像增强仪[J];轻兵器;2017年09期

7 马晓涛;;基于同态滤波的舰船图像增强方法[J];舰船科学技术;2020年06期

8 贾玉福;胡胜红;刘文平;王超;向书成;;使用条件生成对抗网络的自然图像增强方法[J];南京师大学报(自然科学版);2019年03期

9 李杰美慧;王谋;韩江鸿;吴丹阳;王惠刚;;小波变换在水下图像增强中的应用[J];技术与市场;2016年07期

10 胡布钦;莫晓丽;;降质图像增强及评价的应用[J];数字技术与应用;2015年09期

相关博士学位论文 前10条

1 李亮亮;基于非下采样剪切波变换的图像增强算法研究[D];吉林大学;2019年

2 朱若华;忆阻器集约模型及其信息处理应用研究[D];武汉大学;2019年

3 陈杰;基于色彩信息的图像增强研究[D];南京邮电大学;2017年

4 张宪红;基于动力系统的图像增强与分割算法及在林火遥感中应用[D];东北林业大学;2017年

5 丁畅;复杂海况环境下海面图像增强方法研究[D];大连海事大学;2018年

6 向文鼎;雾天及海洋环境下的图像增强与复原技术研究[D];中国科学院大学(中国科学院光电技术研究所);2019年

7 刘玉红;基于生物视觉感知机制的图像增强及质量评价的研究[D];电子科技大学;2018年

8 侯国家;水下图像增强与目标识别算法研究[D];中国海洋大学;2015年

9 赵欣慰;水下成像与图像增强及相关应用研究[D];浙江大学;2015年

10 王月;面向产品装配引导的增强现实虚实融合技术研究[D];西北工业大学;2018年

相关硕士学位论文 前10条

1 单超炜;任务驱动的深度学习图像增强研究[D];中国科学技术大学;2020年

2 刘鑫;基于深度学习的低照度图像增强方法研究[D];天津大学;2018年

3 秦月雅;交通标志检测与识别关键技术研究[D];长春理工大学;2019年

4 李宁;基于视觉注意机制的图像增强方法研究及应用[D];济南大学;2019年

5 陈程俊;彩色图像增强算法的研究与FPGA实现[D];华南理工大学;2019年

6 卿文杨;单幅水下图像增强算法研究[D];云南大学;2018年

7 王仕女;全局与局部融合的图像增强算法研究[D];杭州电子科技大学;2019年

8 魏妍妍;低照度图像增强与超分辨率重建算法研究[D];西安科技大学;2019年

9 尹超;基于Retinex的低照度图像增强算法研究[D];重庆邮电大学;2018年

10 胥培;基于Retinex理论图像增强研究[D];重庆邮电大学;2018年

本文编号：2862006