基于深度学习的动态场景HDR重建技术研究
发布时间：2020-12-19 15:42
多曝光动态场景HDR重建问题具有很大的挑战性,由于场景中包含了运动物体及相机抖动等运动因素,使得合成HDR图像时易产生鬼影和模糊。目前研究人员提出了一些方法以解决该问题。有些研究人员提出了传统方法,例如基于分块的方法和运动映射方法,还有一些研究人员将HDR重建问题建模为深度学习模型。本文提出了一种结合传统技术流程与深度学习的方法,首先利用基于深度学习的光流算法[1]将图像序列向参考图像配准,然后利用融合网络将配准后的图像融合为HDR图像。本文的主要研究内容如下:（1）动态场景HDR融合的技术流程本文提出了一个解决多曝光动态场景HDR重建问题的技术流程,主要包括三个阶段:预处理、配准和HDR融合。首先对输入图像序列进行预处理,再利用基于深度学习的光流算法将输入图像序列向参考图像配准,然后将配准后的图像作为融合卷积网络的输入图像序列,最终产生无鬼影的HDR图像。（2）基于深度学习的图像配准本文提出了一种基于深度学习的配准方法。考虑到光流法的假设之一就是前后帧的曝光度一致,本文提升了较暗图像的曝光度并且降低较亮图像的曝光度,以使得输入图像序列的曝光度一致。然后,本文利用...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
模糊现象以及鬼影现象
国防科技大学研究生院硕士学位论文第7页(3)HDR融合网络结构的设计本文采用卷积神经网络(CNNs)作为学习模型来建模HDR的融合过程，因为卷积神经网络具有强大的学习能力和表达能力，所以本文尝试利用深度卷积网络结构解决前期配准出现的人工痕迹(artifact)，并完美融合出高质量的HDR图像。输入配准后的三张LDR图像及其变换到HDR域后相应的图像，经过深度卷积网络后输出融合过程中各个图像分别对应的权重，最后各个图像分别乘上对应的权重，得到最终融合的HDR图像，即AlphaBlending。(4)误差函数的设计由于HDR图像通常需要经过色调映射才能在普通的显示器上进行显示，所以设计误差函数时先将HDR结果做色调映射变换之后再计算误差函数，本文利用二范数作为衡量估计结果与真实结果(groundtruth)的距离来使网络参数更好地收敛。1.3.2论文的组织结构图1.2论文组织结构论文组织结构图如图1.2所示。第一章绪论。本章主要介绍了论文的研究背景，总结研究的意义。通过对国内外近些年来在动态场景HDR重建技术以及深度学习方向的研究，总结了研究成果，发展现状。在此基础上，提出了本文的研究方向和技术路线。第二章基于深度学习的动态场景HDR重建流程。本章介绍了基于深度学习的动态场景HDR重建技术，包括曝光调整，图像配准，图像融合等部分。其次，为了更加客观地验证实验效果以及提供充分多样的训练数据，设计了一套方法用于
国防科技大学研究生院硕士学位论文第11页图2.2鬼影形成原理图然而，各个算法在消除鬼影的同时，也会引入一些人工痕迹(artifact)，例如错误匹配、几何变形、噪声等等。因此，动态场景HDR重建的难度不仅在于扩大图像的动态范围，而且在于消除鬼影等人工痕迹(artifact)。特别是对于大面积过度曝光或者曝光不足的复杂场景来说，其仍会出现一些语义错误。2.2动态场景HDR重建技术流程本节我们对基于深度学习的动态场景HDR重建技术流程进行阐述。为了解决多曝光HDR重建方法中容易出现的鬼影等问题，本文提出了基于深度学习的动态场景HDR重建方法。基于深度学习的动态场景HDR融合流程设计如下：图2.3HDR重建流程图2.3为本文提出的动态场景HDR重建技术流程，首先，输入相机采集的多曝光LDR图像序列，对输入图像进行预处理之后，计算LDR图像与参考图像的光流，通过计算所得光流进行配准，输入端到端的深度网络计算权重，根据权重进行融合，得到最终重建的HDR图像，色调映射之后在显示器上进行显示。如图2.4所示为具体的技术流程：
本文编号：2926159
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
模糊现象以及鬼影现象
国防科技大学研究生院硕士学位论文第7页(3)HDR融合网络结构的设计本文采用卷积神经网络(CNNs)作为学习模型来建模HDR的融合过程，因为卷积神经网络具有强大的学习能力和表达能力，所以本文尝试利用深度卷积网络结构解决前期配准出现的人工痕迹(artifact)，并完美融合出高质量的HDR图像。输入配准后的三张LDR图像及其变换到HDR域后相应的图像，经过深度卷积网络后输出融合过程中各个图像分别对应的权重，最后各个图像分别乘上对应的权重，得到最终融合的HDR图像，即AlphaBlending。(4)误差函数的设计由于HDR图像通常需要经过色调映射才能在普通的显示器上进行显示，所以设计误差函数时先将HDR结果做色调映射变换之后再计算误差函数，本文利用二范数作为衡量估计结果与真实结果(groundtruth)的距离来使网络参数更好地收敛。1.3.2论文的组织结构图1.2论文组织结构论文组织结构图如图1.2所示。第一章绪论。本章主要介绍了论文的研究背景，总结研究的意义。通过对国内外近些年来在动态场景HDR重建技术以及深度学习方向的研究，总结了研究成果，发展现状。在此基础上，提出了本文的研究方向和技术路线。第二章基于深度学习的动态场景HDR重建流程。本章介绍了基于深度学习的动态场景HDR重建技术，包括曝光调整，图像配准，图像融合等部分。其次，为了更加客观地验证实验效果以及提供充分多样的训练数据，设计了一套方法用于
国防科技大学研究生院硕士学位论文第11页图2.2鬼影形成原理图然而，各个算法在消除鬼影的同时，也会引入一些人工痕迹(artifact)，例如错误匹配、几何变形、噪声等等。因此，动态场景HDR重建的难度不仅在于扩大图像的动态范围，而且在于消除鬼影等人工痕迹(artifact)。特别是对于大面积过度曝光或者曝光不足的复杂场景来说，其仍会出现一些语义错误。2.2动态场景HDR重建技术流程本节我们对基于深度学习的动态场景HDR重建技术流程进行阐述。为了解决多曝光HDR重建方法中容易出现的鬼影等问题，本文提出了基于深度学习的动态场景HDR重建方法。基于深度学习的动态场景HDR融合流程设计如下：图2.3HDR重建流程图2.3为本文提出的动态场景HDR重建技术流程，首先，输入相机采集的多曝光LDR图像序列，对输入图像进行预处理之后，计算LDR图像与参考图像的光流，通过计算所得光流进行配准，输入端到端的深度网络计算权重，根据权重进行融合，得到最终重建的HDR图像，色调映射之后在显示器上进行显示。如图2.4所示为具体的技术流程：
本文编号：2926159
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2926159.html
