基于学习的图像超分辨率重建方法研究

发布时间：2020-05-06 18:51

【摘要】：随着科技的发展,人们获取信息的途径日益丰富,图像成为了传递信息的最重要方式之一。然而,受限于成像设备的硬件条件和受到外界环境的干扰,通常人们获取到的是分辨率低,甚至是含有噪声的图像。为了解决上述问题,在不改变成像设备及外部环境的前提下,从信号处理角度来研究提高图像分辨率的方法,人们称之为图像超分辨率重建技术。众所周知,图像超分辨率重建是一个典型的病态逆问题。对于此类问题,有效的策略是利用合适的先验知识来对构建的数学模型求解进行正则化操作,从而使得病态问题变成良态可解。最近几年,基于学习的策略通过从大量数据中学习出低分辨率图像到高分辨图像映射函数的方式来获得先验信息,并成为了主流方法。该方法能够避免人为定义图像先验的不足,从而引起学者的广泛关注。本文在国家自然科学基金(61771379),国家自然科学基金创新研究群体科学基金(61621005),国家自然科学基金(61472306)和教育部“长江学者和创新团队发展计划”(IRT_15R53)的资助下,针对基于学习的图像超分辨率重建做出了探索性和创新性的研究,论文的主要工作包括:(1)提出了一种基于l_1范数系数转换约束的双字典学习方法,并用于有噪图像超分辨率重建。传统基于稀疏表示的双字典学习方法可以在无噪图像上实现较好的重建效果,可是对噪声十分敏感。通过对该问题进行理论分析,发现原因在于_F范数系数转换约束使得LR图像块的表示不再稀疏,从而导致噪声随着高频细节一并被重建。针对该问题,首先提出使用l_1范数系数转换约束来代替l_F范数约束的策略,从而保证LR图像块解的稀疏性;然后,为了更有效地提高稀疏分解的稳定性和准确性,将HR图像稀疏系数的非局部约束纳入到双字典学习的框架中;最后,采用迭代收敛算法来求解模型。(2)提出了一种基于联合先验学习的有噪视觉传感器图像超分辨率重建方法。视觉传感器获取的图像往往分辨率低且包含大量噪声,同时没有可利用的外部数据进行先验学习。为了解决上述问题,首先提出一个基于EM算法的策略,将有噪图像超分辨过程拆解成两个子过程:图像上采样(E-步)和图像去噪过程(M-步);然后,在M-步过程中,使用前一次迭代的结果图来构造非局部群稀疏和几何对偶先验,并分别将它们作为去噪估计的似然项和先验项;最后,使用贝叶斯均方误差最小化的方法来求解HR图像的最大后验值。(3)提出了一种基于低秩矩阵分解的内外融合方法,并用于图像超分辨重建。为了有效地融合基于内部和外部学习的超分辨率重建方法,首先对两个方法重建结果图的差异性进行分析,发现:1)两者恢复的细节存在互补特性;2)两者产生的估计误差图是稀疏的,这启发了使用低秩分解的策略来对两者进行整合;然后,为了满足低秩分解的条件,分别对内外方法设置不同的参数和使用不同的训练数据,从而生成多张有差异的结果图,使得互补细节在各自方法产生的多张结果图中呈现相关性而被低秩算法保留,而瑕疵和噪声被剔除;最后,通过低秩理论分析发现,不需要很多的低秩数量输入就可以实现最佳融合效果。(4)提出了一种基于外部学习辅助的自样例学习方法,并用于图像超分辨率重建。传统自样例学习方法存在两个主要缺陷:1)不能自适应地利用LR输入图像块中对HR中心像素预测有用的信息;2)通过递归地下采样LR图像来生成回归函数学习的训练数据,使得图像中可利用的信息变少,导致学习到的函数不够准确。为了解决上述问题,提出一个基于混合神经网络的外部学习来辅助自样例学习。首先,将LR图像块输入到混合神经网络,输出LR图像块的表示特征,同时估计得到一个最初的HR图像;然后,使用最初的HR图像来构建双层金字塔,并将LR图像块的特征作为双层金字塔中回归函数的输入;最后,分析了几种不同的回归函数模型,发现高斯过程回归函数更适合用于超分辨率重建。(5)提出了一种基于深度卷积自编码网络的无监督图像分解方法,并用于图像超分辨率重建、去雨及去噪任务。在传统复原方法映射函数学习的过程中,需要大量配对的降质和清晰图像来作为训练数据,但在实践中获取配对数据是十分困难的。为了解决上述问题,提出一种基于图像分解网络的策略用于映射函数学习,该方法无需要求训练数据一一配对。首先,构建一个特征分解的卷积自编码网络,分别对降质和清晰图像采取不同编码策略来重构自身:使用全部特征图来重构降质图像而使用部分特征图来对清晰图像进行重构。上述操作保证了在复原过程中,降质图像的特征图可以分解成两部分,而仅使用清晰图像对应的特征图就可以重建出复原图像;然后,在重构误差约束上添加判别分类器正则用于加速分解网络的收敛,同时进一步提高图像复原质量。
【图文】：

变化曲线,融合性,图像,变化曲线

图4.14低秩融合性能随输入图像数量的变化曲线.4.3融合性能与低秩输入图像数量的关系4.3.2小节的低秩融合输入结果图数量的上下限分析中，指出低秩算法不能随重建图像的数量增加而单调递增，即：当输入图像数量比较少它，融合性能得到明显增强。但是当数量超过某一值时，数量的增加输入带来更多有用的细节信息，反而因为增大 D( L)F的值而造成，这里对上述分析给出实验验证。通过设置外部学习中训练数据子集, ..., 8}，从而得到 8 个外部学习映射函数（双字典）。同样地，设置内块的数目为 k ∈ {1,...,8}，，得到 8 个内部学习重建方案。接着对 LR 输转角度（0 , 90 , 180 , 270 ），得到4个角度不同的LR图像，将这些图外部学习方法中，分别可以得到32个结果图。图4.14给出了本章内外在27张测试图上随图像数量的重建性能变化曲线图，其中内，外方法相等的。可以发现，随着数量的增加，重建性能起先迅速增加，但是6时，曲线达到峰值，最后随输入的增加而略有下降。这说明了当输入
【学位授予单位】：西安电子科技大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;TP181

【相似文献】