基于卷积神经网络的光场图像超分辨率与多曝光、多光谱图像融合的研究

发布时间：2020-06-15 04:26

【摘要】：随着对图像要求的不断提高,图像获取设备得到了巨大地发展与提升。相机像素越来越高,同时也出现各种各样的成像设备。但是硬件设备在一些情况下还是不能完全满足人们的需求。图像处理技术可以提高捕获图像的视觉质量。光场相机是近年来新出现的一种相机,得到了越来越多的关注。它具有普通相机不具有的优点,但是分辨率限制了它的应用。本文研究虚拟视角合成方法来提高它的角分辨率达到提高相机分辨率的目的。图像融合能够将多张图像融合到一张具有更丰富信息的图像中,它在很多领域都有广泛的应用,本文利用研究多聚焦图像融合的问题来解决相机单次聚焦区域有限的问题。近红外相机近年来受到越来越多的关注,它能够在非理想环境下取得高质量的成像,但是会缺失颜色信息。本文研究近红外图像与彩色图像的融合来恢复彩色图像隐藏的细节和纹理。本文的主要工作和贡献在以下几个方面:1.提出了一种基于密集连接与多损失卷积神经网络的高质量光场相机虚拟视角生成算法。随着商用光场摄像机的出现,光场图像越来越普遍。然而,由于硬件的限制,光场相机的角度分辨率和空间分辨率之间存在着平衡。因此,这些相机通常在空间域或角度域具有稀疏采样。本文采用密集连接全卷积神经网络来缓解这一问题。具体地说,我们提出了一种新的多损失函数,使用它来训练卷积神经网络模型,使生成的视角图像和真实图像的像素损失、特征损失和边缘损失最小化。实验结果表明,所提出的方法能合成高质量的新视角图像,优于其它方法。2.我们提出了利用光场数据和卷积神经网络(CNN)进行多聚焦图像融合的方法。我们使用光场数据生成聚焦图用于重聚焦图像融合的研究。与其他将多聚焦融合看作二元分类CNN的融合方法不同的是,通过全卷积网络,我们使用多聚焦图像直接生成焦点图。为了直接对CNN进行训练,我们利用光场数据构建了一个包含多聚焦图像及其全清晰图像的数据集,并利用该数据集对所提出的网络进行训练。实验结果表明,该方法能生成更接近参考图的精确聚焦图,并且在评价指标方面优于其他先进的融合方法。3.我们提出用近红外(NIR)图像来恢复其对应的同一场景下的彩色图像的纹理和细节。我们提供了一种将近红外和视觉图像融合到同一场景中的方法,能够将它们的优点整合在一起,得到高质量的融合图像。我们将融合任务分为亮度和色度两部分。我们利用卷积神经网络对近红外图像和彩色的亮度信息进行融合。该融合图像在低光、高光、雾度等条件下具有良好的边缘和结构性能。我们使用CNN网络来通过融合后的亮度图像和原始的RGB图像重建彩色图像。实验结果表明,所提出方法优于其他优秀方法。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【相似文献】