基于深度卷积神经网络的多通道图像超分辨方法
发布时间：2021-09-23 06:53
多通道图像超分辨是图像分析、语义理解的基础。由于自然条件的影响以及成像设备器件的干扰,成像获得的多通道图像往往存在着分辨率降低、存在模糊噪声等情况。超分辨率重建就是运用算法将这些低分辨图像重建出高分辨图像。基于卷积神经网络的多通道图像超分辨率重建过程模拟人脑神经元突触的结构,运用海量的训练数据学习到低分辨图像与高分辨图像的映射权值矩阵。同时由于多通道图像相比单幅图像存在着时间或光谱维度,通过利用时空相关性或空谱相关性,将相邻图像应用到卷积神经网络训练中来补充中间图像的信息,以获得更好的超分辨效果。论文围绕基于深度卷积神经网络的多通道图像超分辨方法展开工作,取得如下成果:（1）研究了利用相邻帧间冗余信息进行视频超分辨的VSRnet模型,并将模型在三个方面进行推广,得到DeepVSRnet模型。首先将模型输入图像数目从3帧推广到K帧,然后将卷积神经网络中图像级联前的特征提取层数从1层推广到N层,最后将卷积神经网络中图像级联后的重建层数从1层推广到M层。通过实验探讨了网络层数的变化、输入帧数的变化以及损失函数的优化方法对模型性能的影响。（2）结合卷积神经网络在光流估计中取得的良好效果,将Fl...
【文章来源】：南京理工大学江苏省 211工程院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图１．２?Ｌｅｎａ图像超分辨率重建??在医学方面：医院中所使用的核磁共振、彩超等设备，都是成像后将图像显示出来，??可以通过利用高分辨算法对图像进行重建来获得更清晰的图像
景拍摄的图像。ｍ现实拍摄环境中，图像的成像过程往往受到扪摄设备及周Ｉ＾环境等多??种因素的影响，如成像设备的分辨率、大气折射的干扰、噪声污染以及下采样等，使得??所获得的图像分辨率降低，图像成像过程如图２．１所示。??幽．，ｆ??原图?模糊图像??图２．１图像成像过程??对于整个成像过程可用如下模型进行描述：??ｖ?＝?ＨＤｘ?＋?ｎ?（２．１）??其中Ｘ是真实清晰的高分辨率图像，．Ｖ是成像获得的低分辨率图像，／／是模糊核，??包括镜头抖动、大气折射、物体相对运动等，Ｄ表示下采样矩阵，由传感器阵列对图像??进行下采样，《为噪声，包括环境噪声和成像设备元器件噪声。??２．１．２超分辨率算法重建过程??超分辨采建过程可以总结为三个基本步骤：去噪、超分辨、去模糊。基十插位和ｆ??建的超分辨方法通过特征研究逆变换的数‘７：模型，通过滤波器进彳Ｔ去噪、去模糊操作获??得高分辨图像。??基十学习的多通道图像超分辨率東达兑法通过构建低分辨图像５高分辨图像的端??到端映射关系来重新构建出高分辨率图像，可以阳如下模型进行描述：??Ｖ?＝?ＨＤｘ?＋?ｎ?（”）??其屮Ｘ表示由连续的若干幅低分辨率图像所构成的矩阵，＾表示低分辨图像矩阵??与中间高分辨图像间的权值矩阵
双三次插值算法又称为立方卷积插值，因为计算简单且效果不错，通常被用来作为??图像超分辨率算法的基准。该算法通过三次插值运算来计算得到采样点周围】６个点的??灰度值。如图２．２所示，我们己知采样点低分辨率图像中四个像素点（ａＯＯ，?ａ０３，?ａ３０，??ａ３３）的值，需要根据这些已知点求解出剩余未知点的灰度值。??ａ０〇?＃?ａ０８??？?Ｐ?？？?？?？?｜??ｊ??；?；?＾??ａ８０?＊?？?ａ３５??图２．２双三次插值待求解值??虽然三次操作导致计算量增加，但超分辨结果更加接近真实图像ｔ４６ｋ其数学表达式??为：??１?—?２１?〇＞?｜＇?＋｜＜ｙｊ？?０?＜?｜＜ｙ｜＜ｌ??ｓ（ｃｏ）?＝?＜?４－８｜＜ｙ｜＋５｜＜ｉ）｜＇－｜ｃｙ｜３?１?＜｜?ｃｏ?｜＜?２?（２．３）??０?＼〇）＼＞２??其中ｗ为插值点与相邻像素点之间的距离。双三次插值公式为：??／（ｉ?＋?ｕ，ｊ?＋?ｖ）?＝?Ａ?－?Ｂ?■?Ｃ?（２．４）??其中为正整数，／（／，ｙ）表示原图像（／，．／；）的像素值。烕５，ｃ均为矩阵，形式如下：??＾?＝?［５（ｌ?＋?ｗ）?５（ｗ）?５（ｌ－ｗ）?５（２－ｍ）］?（２．５）??—?／（／，／）?／（／，７?＋?ｌ）?ｆ（Ｕｊ?＋?２）??Ｂ?＝?（ｚ．６）??／（／?＋?１，．／－１）?ｆ（ｉ?＋?ｌ，ｊ）?ｆ（ｉ?＋?＼，ｊ?＋?＼）?ｆＶ?＋?ｌｊ?＋?２）??Ｊ（ｉ?＋?２
【参考文献】：
期刊论文
[1]基于支持向量回归的图像超分辨率重建算法[J]. 范开乾,胡访宇. 电子技术. 2014(04)
[2]一种自适应的金字塔式Lucas-Kanade目标跟踪算法[J]. 唐建宇. 电子技术与软件工程. 2013(17)
[3]基于POCS-MPMAP合成算法的超分辨率图像复原（英文）[J]. 苏秉华,金伟其. 光子学报. 2003(04)
硕士论文
[1]基于人眼掩蔽特性的实时视频质量评估系统[D]. 陈振强.南京邮电大学 2013
本文编号：3405246
【文章来源】：南京理工大学江苏省 211工程院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
图１．２?Ｌｅｎａ图像超分辨率重建??在医学方面：医院中所使用的核磁共振、彩超等设备，都是成像后将图像显示出来，??可以通过利用高分辨算法对图像进行重建来获得更清晰的图像
景拍摄的图像。ｍ现实拍摄环境中，图像的成像过程往往受到扪摄设备及周Ｉ＾环境等多??种因素的影响，如成像设备的分辨率、大气折射的干扰、噪声污染以及下采样等，使得??所获得的图像分辨率降低，图像成像过程如图２．１所示。??幽．，ｆ??原图?模糊图像??图２．１图像成像过程??对于整个成像过程可用如下模型进行描述：??ｖ?＝?ＨＤｘ?＋?ｎ?（２．１）??其中Ｘ是真实清晰的高分辨率图像，．Ｖ是成像获得的低分辨率图像，／／是模糊核，??包括镜头抖动、大气折射、物体相对运动等，Ｄ表示下采样矩阵，由传感器阵列对图像??进行下采样，《为噪声，包括环境噪声和成像设备元器件噪声。??２．１．２超分辨率算法重建过程??超分辨采建过程可以总结为三个基本步骤：去噪、超分辨、去模糊。基十插位和ｆ??建的超分辨方法通过特征研究逆变换的数‘７：模型，通过滤波器进彳Ｔ去噪、去模糊操作获??得高分辨图像。??基十学习的多通道图像超分辨率東达兑法通过构建低分辨图像５高分辨图像的端??到端映射关系来重新构建出高分辨率图像，可以阳如下模型进行描述：??Ｖ?＝?ＨＤｘ?＋?ｎ?（”）??其屮Ｘ表示由连续的若干幅低分辨率图像所构成的矩阵，＾表示低分辨图像矩阵??与中间高分辨图像间的权值矩阵
双三次插值算法又称为立方卷积插值，因为计算简单且效果不错，通常被用来作为??图像超分辨率算法的基准。该算法通过三次插值运算来计算得到采样点周围】６个点的??灰度值。如图２．２所示，我们己知采样点低分辨率图像中四个像素点（ａＯＯ，?ａ０３，?ａ３０，??ａ３３）的值，需要根据这些已知点求解出剩余未知点的灰度值。??ａ０〇?＃?ａ０８??？?Ｐ?？？?？?？?｜??ｊ??；?；?＾??ａ８０?＊?？?ａ３５??图２．２双三次插值待求解值??虽然三次操作导致计算量增加，但超分辨结果更加接近真实图像ｔ４６ｋ其数学表达式??为：??１?—?２１?〇＞?｜＇?＋｜＜ｙｊ？?０?＜?｜＜ｙ｜＜ｌ??ｓ（ｃｏ）?＝?＜?４－８｜＜ｙ｜＋５｜＜ｉ）｜＇－｜ｃｙ｜３?１?＜｜?ｃｏ?｜＜?２?（２．３）??０?＼〇）＼＞２??其中ｗ为插值点与相邻像素点之间的距离。双三次插值公式为：??／（ｉ?＋?ｕ，ｊ?＋?ｖ）?＝?Ａ?－?Ｂ?■?Ｃ?（２．４）??其中为正整数，／（／，ｙ）表示原图像（／，．／；）的像素值。烕５，ｃ均为矩阵，形式如下：??＾?＝?［５（ｌ?＋?ｗ）?５（ｗ）?５（ｌ－ｗ）?５（２－ｍ）］?（２．５）??—?／（／，／）?／（／，７?＋?ｌ）?ｆ（Ｕｊ?＋?２）??Ｂ?＝?（ｚ．６）??／（／?＋?１，．／－１）?ｆ（ｉ?＋?ｌ，ｊ）?ｆ（ｉ?＋?＼，ｊ?＋?＼）?ｆＶ?＋?ｌｊ?＋?２）??Ｊ（ｉ?＋?２
【参考文献】：
期刊论文
[1]基于支持向量回归的图像超分辨率重建算法[J]. 范开乾,胡访宇. 电子技术. 2014(04)
[2]一种自适应的金字塔式Lucas-Kanade目标跟踪算法[J]. 唐建宇. 电子技术与软件工程. 2013(17)
[3]基于POCS-MPMAP合成算法的超分辨率图像复原（英文）[J]. 苏秉华,金伟其. 光子学报. 2003(04)
硕士论文
[1]基于人眼掩蔽特性的实时视频质量评估系统[D]. 陈振强.南京邮电大学 2013
本文编号：3405246
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3405246.html
