图像处理中超分辨率与修复方法的研究

发布时间：2020-03-25 17:48

【摘要】：图像超分辨率和图像修复是图像处理领域的基础问题,其目标在于构造满足人类视觉感知的高质量图像。由于图像在采集、传输及保存过程中受到诸多退化因素的干扰,导致所得图像分辨率较低或内容缺损,进而影响人类对于图像内容的准确理解以及计算机对图像特征的提取。图像超分辨率旨在针对低分辨率图像,构造其对应的高分辨率图像,增加像素数目及高频信息,使图像具有清晰的边缘及有序的纹理,以展示更多的图像细节。图像修复的研究目标为填补图像中丢失的信息或者去除图像中的遮挡物体,使得修复之后的图像满足人类的视觉感知,修复痕迹不易被察觉,边缘保持连续且平滑,纹理保持一致及有序。图像超分辨率与图像修复的研究目标均为对退化图像进行视觉优化,重建图像中的缺失信息。二者在医学、太空项目、考古学、工业界及人们的生活中有着广泛的应用。作为图像处理中的不适定(ill-posed)问题,图像超分辨率和图像修复的研究面临一系列问题和挑战。首先,对于超分辨率问题,相对于低分辨率图像,构造高分辨率图像需要增加的像素数目远远多于已知低分辨率像素数目,并且需要增加高频信息以提升图像的清晰度;其次,图像修复需要对图像的内容有一定的理解,不同于人类具有高级的视觉感知系统,计算机无法直接理解图像内容,因而对于复杂的场景或者较大的修复区域,无法以明确的数学模型推断图像的缺失内容。本文围绕图像超分辨率和修复问题中的研究热点和难点展开研究,提出基于图像特征及实例的处理方法。新方法能够充分利用图像中的边缘特征及自相似特征,对未知信息进行合理的判断。主要工作包括:1.提出了特征约束的多实例图像超分辨率方法。图像边缘的几何正则性是图像中重要的视觉特征,自相似性是图像中普遍存在的统计特征,本方法将两个特征作为先验知识构建高分辨率图像。首先提出边缘特征约束的多项式插值方法对输入图像进行初始放大,使得初始高分辨率图像能够保持边缘、纹理等结构特征。然后,基于同一幅图像不同尺度之间的相似性,提出自适应KNN搜索方法,学习已知高、低分辨率低频图像对之间的多实例回归关系;在高频空间,应用多实例回归关系推断高频信息。其中,最近邻数目K由图像块特征自适应决定。实验结果表明,新方法构造的高分辨率图像结构清晰、纹理有序。2.提出了基于非局部特征的迭代反投影图像超分辨率方法。高分辨率图像降质之后的低分辨率图像和输入低分辨率图像之间的差被称为重建误差,本方法以最小化重建误差为目标方程,通过将重建误差各向异性迭代反投影到高分辨率图像求解目标方程的解。为了优化初始高分辨率图像,并引导重建误差的各向异性传播,设计了一种高效的非局部特征插值方法。在插值方法中,边缘信息被用作约束,使插值曲面保持更好的形状。此外,利用非局部相似性去除由误差传播引起的噪声和不规则性。通过结合图像边缘及自相似性,有效地约束了解空间,并引导目标方程收敛于保持特征的解。实验结果表明,提出的方法在量化指标和视觉质量方面均取得了更好的效果。3.提出了基于超像素和简单语义分割的图像修复方法。图像修复方法通常利用已知的图像数据推断未知信息,因此,信息来源的可靠性是影响修复效果的关键。本方法利用图像结构的稀疏性定义修复顺序的优先权,以由外向内、结构区域优先的顺序进行修复。通过位置约束的距离公式搜索源区域中的相似实例,采用实例中的信息填补未知区域。对图像进行超像素分割,以区分不同的色彩或纹理;借助用户提供的分割点对图像进行简单的语义分割,将相似实例来源限制在同一语义区域内的邻接超像素。通过对实例来源的限制,提高了修复信息的可靠性,并且极大地提升了相似实例的搜索效率。实验结果表明,新方法能够保持边缘的连续性以及同一语义区域内色彩及纹理的一致性,避免了边缘中断及纹理跨界现象的产生,修复后的图像具有较高的视觉质量。
【图文】：

实例图,图像修复,图像超分辨率,实例

维矩阵表示，矩阵中每个元素为对应像素的灰度值。彩色图像分为Ｒ、Ｇ、Ｂ三逡逑个通道，每个通道可由一个二维矩阵表示，矩阵中每个元素为对应像素在该逡逑通道的亮度值。图像分辨率指图像中包含的像素个数。以图１．１（ａ）为例，该图逡逑像分辨率为１％邋ｘ邋１９０，即具有１９０邋ｘ邋１９０个像素。图像超分辨率重建旨在由低逡逑分辨率图像构造结构清晰、细节有序的高分辨率图像，也被称作图像放大。图逡逑像超分辨率算法通过增加像素数目及高频信息实现超分辨率图像重建。例如，逡逑图１．１（ａ）所示的低分辨率图像像素数目较少，较为模糊，图１．１（ｂ）为对该图像２倍逡逑放大后得到的高分辨率图像，其像素数目是原低分辨率图像的４倍，且包含更多逡逑的高频信息，可以更为清晰地展示更多细节内容。图像修复研宄如何去除图像逡逑中遮挡信息或者填补空缺信息。图１．１（ｃ）为待修复图像，其部分内容被英文单词逡逑覆盖

高分辨率图像,大气干扰,自然场景,高分辨率图像

Ｌ邋＝邋Ｄ｛Ｂ＊Ｈ）邋＋邋Ｎ，逦（２．１）逡逑其中，Ｌ为低分辨率图像，如图２．１（ｃ）；邋／／为高分辨率图像，如图２．１（ａ）；邋Ｓ为模逡逑糊滤波器；Ｄ为降采样操作；ｉＶ为噪声；＊为卷积操作。模糊滤波过程Ｂ＊／／建模逡逑图２．１（ａ）到图２．１（ｂ）的转化，降采样函数Ｚ）？建模图２．１（ｂ）到图２．１（ｃ）的转化。降逡逑质模型描述一幅高分辨率图像如何退化为低分辨率图像，揭示了图像降质的原逡逑因。在图像超分辨率领域，具体用到的图像降质模型有隔行隔列降采样、平均逡逑降采样及模糊降采样三种。图２．２所示为缩小因子ｓ邋＝邋２时三种降质模型中高、逡逑低分辨率像素之间的关系，图中空心圆圈表示降质之前的像素点，实心黑色圆逡逑点表示降质之后的像素点，实心灰色圆点表示模糊滤波之后的像素点。逡逑°逦１ｆ逦逦逦逡逑＜１邋１）邋ＩＩ邋0邋邋邋＜，邋＇＞邋ｉｔ邋１１．．邋竞邋ｉ逡逑＂邋＂邋＂邋°邋＇＾－７＇邋＇？邋￣￣￣！，邋＂邋邋邋‘逡逑．逦｝邋ｊ邋：逡逑（ａ）隔行隔列降采样邋（ｂ）平均降采样邋（ｃ）模糊降采样逡逑图２．２邋３种降质模型。逡逑？隔行隔列降采样：每ｓｘｓ个高分辨率像素取一个像素作为低分辨率像素。逡逑对应公式２．１
【学位授予单位】：山东大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41

【参考文献】