基于深度学习的Mosaic图像复原和识别方法研究

发布时间：2020-05-10 07:58

【摘要】：随着人工智能和计算机视觉技术的飞速发展,基于神经网络的图像处理方法掀起了新的发展浪潮。神经网络是一种端到端的数据驱动模型,其训练过程需要大量的彩色图像训练集。而使用相机拍摄彩色图像时,大多数相机使用覆盖一层彩色滤波阵列(通常是Bayer模式的彩色滤波阵列)的CCD/CMOS图像传感器进行采集,得到Mosaic图像,然后经过Demosaicing算法从Mosaic图像中复原出彩色图像。在众多的Demosaicing复原算法中,基于深度学习的Demosaicing方法由于融入了深度学习技术,取得了不错的复原效果。然而,现有基于深度学习的Demosaicing算法中的卷积操作,都是针对RGB彩色图像设计的,对Mosaic图像这种特殊排列方式并不具有很好的适配性。因此,在本文中,我们首先针对Mosaic图像Bayer模式的周期性,设计了相位卷积操作来对Mosaic图像进行特征提取,再基于这种卷积操作,设计了基于生成对抗网络和相位卷积的去马赛克图像复原方法。这种算法紧密结合Bayer模式的相位特征,特别适用于Mosaic图像的Demosaicing过程,实验结果表明,所设计的图像复原方法与现有深度学习Demosaicing方法相比具有较好的复原效果。另一方面,在许多端到端的应用中,如长期勘探、侦察和监视等场合,人们并不会去长时间关注图像本身的质量,而是只关注分类、识别和理解的结果。而彩色图像Demosaicing过程,更多是为了满足人眼的欣赏要求,由于过于注重视觉效果,从而在复原算法会融入过多的信息冗余。因此,这种情况下如果跳过Demosaicing过程,直接对Mosaic图像进行端到端的分类识别,这样可以避免复杂的图像复原算法,减少计算负担并降低功耗,对于诸多监控设备、移动设备的实际应用来说尤其重要。基于此需求背景,本文提出了一个称为MosaicNet的深度分类网络,来直接对Mosaic图像进行分类识别。该方法不仅减少了Demosaicing过程的复杂计算,还避免了其引入的误差,获得比全彩色图像网络模型更好的分类精度,实验结果也证实了这一结论。最后,本文还采集并构建了Mosaic图像数据集,并使用它对MosaicNet模型进行训练和测试,在真实Mosaic图像的实验条件下验证MosaicNet的可行性和识别效果。
【图文】：

彩色图像,马赛克,去噪方法

然后将此作为网络输入，经过一系列卷积层对整个图像滑窗滤波，提取出图像特征，在经过上采样层，把特征矩阵映射成为与目标彩色图像相同大小，最后再经过一个卷积层，得到最后的彩色图像去马赛克结果，具体网络结构如图3.1所示。图3.1深度联合去马赛克去噪方法将网络结构进行数学建模，，输入是Mosaic图像和噪声级的估计；输出是具有RGB每像素三重态的相同大小的图像。我首先对Bayer 模式的Mosaic图像输入拼接的样本进行重新排列，得到一幅四分之一分辨率的多通道图像，相当于对图像下采样，降低了后续步骤的计算量,数学表示为第一层从中提取2 × 2 块，并将其打包为4通道特征映射，并以c作为位置索引。 0 ( , ) = (2 + ( 2), 2 + 2 ) (3-1)之后的卷积层具有相同的结构，卷积核为 × ，并加之以RELU激活函数进行非线性变换。 = (

相位,像素点,图像,通道

(b)四种相位图3.5 Mosaic图像及相位排列为卷积方式提供新的思路。如图3.5(b)所示，如果我们分别以R,G1,G2,B为中心进行观测可发现，这里仅以3 × 3邻域进行说明，R中心的邻域内有紧邻的4 个G 通道像素点和4个B通道像素点，G1中心的邻域内有紧邻的2个R通道像素点、2个B通道像素点和4个G通道像素点，G2中心的邻域内有紧邻的2个R通道像素点、2个B通道像素点和4个G通道像素点，B中心的邻域内有紧邻的4个G通道像素点和4个R通道像素点。因此，以各个色彩通道为中心的邻域内，排列各不相同，因此如果分别对四种不同相位排列进行分别卷积
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18

【相似文献】