多源图像超分辨率重建研究 博士论文

  受成像设备等因素的影响,用户实际获取的图像的分辨率往往是受限的,从而导致图像的细节不够清晰。这不仅会影响用户的视觉体验,而且也会对相关的计算机视觉应用构成障碍。因此,如何提升图像的分辨率（也即所谓的图像超分辨率重建）一直以来都是图像处理领域的基础性研究课题,得到众多学者的广泛关注和深入研究。图像超分辨率重建是指一种从一幅或多幅低分辨率图像重建出一幅高分辨率图像的数字图像处理技术。按照图像种类的不同,图像超分辨率重建主要有彩色图像超分辨率重建和深度图像超分辨率重建之分。随着研究和应用的深入进行,彩色和深度图像混在的超分辨率重建研究也陆续出现,并逐渐成为一个研究热点。在上述研究背景下,本文主要针对彩色和深度图像同时存在的多源输入情形,研究相关的图像超分辨率重建问题,提出了多种超分辨率重建算法,希望能为图像超分辨率重建问题的解决提供支持。鉴于实际中获取深度信息手段的多样化,研究彩色和深度图像混在的超分辨率重建问题时必须考虑深度信息获取的途径。本文主要以多视角立体视觉系统和RGBD视觉系统提供的深度信息为基础展开研究。重点关注相关的多源图像超分辨率重建算法,提供有针对性的解决方案。首先,本文针对多视角立体视觉系统中的彩色图像超分辨率重建问题进行了研究。对于多视角图像（视频）数据,近年来提出和发展了一种混合分辨率的编解码方案,能够有效地降低所要传输的数据量。但是这种非对称的传输方案对于后端应用造成了限制,所以针对该方案中的低分辨率视角图像的超分辨率重建研究是近年来的一个重要研究方向。首先,我们针对混合分辨率的多视角图像中的超分辨率重建问题进行了研究,提出了一种基于多视角立体深度信息融合的超分辨率重建算法。我们使用立体匹配算法在参考图像和相关低分辨率图像之间进行立体匹配以得到视差图像,然后以参考图像的视角为基准,从多组视差图像出发通过一种中值滤波融合处理得到所需深度图像的估计。基于上述深度信息,我们进一步提出了一种基于视差映射和非局部重建的融合算法以实现对低分辨率图像的超分辨率重建。据此使用上述超分辨率重建结果可以重新进行深度估计。反复迭代上述两个过程直到得到稳定的深度图像和超分辨率重建结果。为了验证方法的有效性,在Middlebury数据集上进行多组实验。实验结果表明,该算法具有较大的优势,能够同时得到高质量的深度估计和超分辨率重建结果。进一步,本文针对非对称立体视频中的彩色图像超分辨率重建问题进行了研究。经过分析我们发现,该问题中的深度估计和超分辨率重建是存在较强耦合关系的两个过程。基于此,我们提出了一种采用统一的能量函数对这两个过程同时进行建模的超分辨率重建算法。首先,我们使用颜色一致性、平滑性、遮挡惩罚和时域一致性等约束构建能量函数,对深度估计问题进行建模；然后,在深度信息的指导下,我们使用数据一致性、视角一致性和非局部图像自相似性的约束构建能量函数,对超分辨率重建问题进行建模；最后,统一表示上述能量函数,并采用轮换迭代的优化技术求其最优解。我们在两个立体视频公开数据集上进行了验证实验,并对得到的深度图像和超分辨率重建结果进行了主、客观评估。实验结果表明,本文算法具有可以同时获得高质量的深度估计和超分辨率重建结果的优势。然后,本文针对RGBD视觉系统中的深度图像超分辨率重建问题进行了研究,提出了两种基于彩色图像信息指导的深度图像超分辨率重建算法。首先,我们提出了两种基于非局部线性模型的图像引导滤波算法,并从滤波器核函数的形式上分析了它们与图像引导滤波器以及非局部均值等滤波方法的联系和区别。在公开数据集上的实验表明,本文提出的滤波方法在深度图像超分辨重建和增强、图像去噪和图像去雾等多个应用中,具有较大的优势。其次,针对之前深度图像超分辨率重建方法受初始深度图像质量影响较大的问题,提出了一种结合图像局部先验和非局部先验的深度图像超分辨率重建算法。首先,基于彩色图像和深度图像的共生不连续性假设,利用图像的局部渐变特性和非局部自相似性,通过度量邻域像素在颜色和深度上的相似性来构建能量函数,完成对深度图像超分辨率重建过程的建模。然后,通过对该能量函数优化求解过程的分析,提出了一种快速近似算法。在Middlebury测试集上的实验结果表明,相比其他超分辨率重建方法,本文提出的算法具有较好的鲁棒性,并可取得更好的超分辨率重建结果。最后,结合立体视觉系统和RGBD视觉系统的特点,提出了一种基于立体视觉辅助的3D视觉系统,并据此提出了一种融合不同来源深度信息的深度图像超分辨率重建算法。该系统以同一场景的两个不同视角的高分辨率彩色图像和一幅低分辨率深度图像为输入。首先,对深度相机采集到的低分辨率深度图像进行超分辨率重建。然后,度量像素在颜色域和深度域的相似性,进而采用基于局部自适应权值的立体匹配算法,从两幅彩色图像中计算出高分辨率视差图像。基于三角测量原理,就可以得到对应的深度图像。该深度图像分辨分辨率较高,但是在遮挡和无纹理区域会出现错误。因此,我们利用上述深度图像超分辨率结果,对其进行自适应填充,从而得到最终的融合结果。公开数据集上的实验结果表明,本文算法相比于经典的深度图像超分辨率重建算法和立体匹配算法具有明显的优势,能够得到更高质量的深度图像。

 

中国科学技术大学安徽省211工程院校985工程院校

 

页数：151

 

【学位级别】：博士

 

文章目录

摘要

Abstract

目录

第一章 绪论

    1.1 图像超分辨率重建问题及其研究意义

    1.2 图像超分辨率重建研究与发展现状

        1.2.1 彩色图像超分辨率重建算法

        1.2.2 深度图像超分辨率重建算法

    1.3 本文的研究内容和主要贡献

        1.3.1 多视角彩色图像（视频）超分辨率重建算法

        1.3.2 有彩色图像指导的深度图像超分辨率重建算法

    1.4 本文的结构安排

第二章 图像超分辨率重建研究概述

    2.1 图像的获取方法和表达

        2.1.1 彩色图像的获取方法和表达

        2.1.2 深度图像的获取方法和表达

    2.2 图像质量的评价方法

        2.2.1 彩色图像的评价方法

        2.2.2 深度图像的评价方法

    2.3 彩色图像超分辨率重建算法

        2.3.1 基于单幅图像的超分辨率重建算法

        2.3.2 基于视频的超分辨率重建算法

        2.3.3 基于多视角图像（视频）的超分辨率重建算法

    2.4 深度图像超分辨率重建算法

        2.4.1 只使用深度图像的超分辨率重建算法

        2.4.2 结合同一场景彩色图像的超分辨率重建算法

第三章 多视角彩色图像超分辨率重建算法

    3.1 本章概述

    3.2 非对称多视角图像超分辨率重建算法

        3.2.1 研究动机、难点和思路

        3.2.2 基于深度信息的超分辨率重建

        3.2.3 优化算法

        3.2.4 实验及分析

    3.3 非对称立体视频图像超分辨率重建算法

        3.3.1 研究动机、难点和思路

        3.3.2 深度估计和超分辨率问题的同时建模

        3.3.3 基于轮换迭代的优化算法

        3.3.4 实验及分析

    3.4 本章小结

第四章 单幅彩色图像指导的深度图像超分辨率重建算法

    4.1 本章概述

    4.2 基于非局部图像引导滤波方法的超分辨率算法

        4.2.1 非局部线性模型和自适应线性回归

        4.2.2 两种平均策略和对应的滤波器形式

        4.2.3 非局部图像引导滤波方法用于深度图像超分辨率重建

        4.2.4 非局部图像引导滤波方法的其他应用

        4.2.5 本节附录

    4.3 结合局部先验和非局部先验的超分辨率重建算法

        4.3.1 研究动机、难点和思路

        4.3.2 基于局部先验和非局部先验的能量函数

        4.3.3 迭代优化算法和快速近似算法

        4.3.4 实验及分析

    4.4 本章小结

第五章 基于立体视觉辅助模型的深度图像超分辨率重建算法

    5.1 本章概述

    5.2 研究动机、难点和思路

    5.3 基于立体视觉辅助的深度图像超分辨率建模

        5.3.1 立体视觉辅助的3D视觉系统

        5.3.2 基于立体视觉辅助系统的能量函数构建

    5.4 迭代优化算法和快速近似算法

    5.5 实验及分析

        5.5.1 实验数据集和参数设定

        5.5.2 实验结果和分析

    5.6 本章小结

第六章 总结与展望

    6.1 论文工作总结

    6.2 展望

参考文献

致谢

在读期间发表的学术论文

在读期间参与的科研项目

 

参考文献

 

期刊论文

 

[1]多形态稀疏性正则化的图像超分辨率算法[J]. 孙玉宝,韦志辉,肖亮,张峥嵘,吕战强.  电子学报. 2010(12)

[2]基于小波域HMT模型的彩色图像超分辨率复原[J]. 赵书斌,张蓬,彭思龙.  中国图象图形学报. 2004(02)

 

博士论文

 

[1]图像超分辨率重建算法研究[D]. 杨宇翔.中国科学技术大学 2013

[2]混合型图像超分辨率重建算法研究[D]. 宁贝佳.西安电子科技大学 2013

[3]基于范例的高性能图像超分辨率[D]. 熊志伟.中国科学技术大学 2011

[4]高精度摄像机标定和鲁棒立体匹配算法研究[D]. 郑志刚.中国科学技术大学 2008