深度图像质量增强算法研究
发布时间：2021-03-28 22:20
深度图像是表示深度传感器与场景物体之间距离的图像。随着深度传感器的快速发展,深度图像已经广泛应用于人机交互、3D视频和虚拟现实等诸多领域中。然而受到采集设备自身的局限及采集环境因素的影响,直接获取的深度图像存在深度数据丢失和分辨率低等问题,严重影响深度图像的后续应用。本文根据深度图像中存在的问题,提出了相应的修复和上采样重建算法。针对深度图像因数据丢失而形成的空洞进行修复研究,提出了一种基于曲率驱动扩散和边缘重建的深度图像修复算法,实现了单幅深度图像的修复补全;针对深度图像分辨率低的问题,提出了一种基于全局边缘模型的深度图像上采样重建算法,实现了单幅深度图的上采样重建,得到更高分辨率的深度图像。主要研究工作和成果如下:（1）深度数据缺失导致深度图像中存在大量空洞,使用传统修复方式易造成图像目标物体边缘空洞过填充或欠填充,造成边缘扭曲、边界模糊等问题。针对这一问题,本文提出了一种基于曲率驱动扩散和边缘重建的深度图像修复算法。该算法采用曲率驱动扩散模型,利用图像邻域内有效像素信息,将局部结构从空洞的外部向内部扩散,能够准确的填充空洞。然后,设计二值分割滤波对填充后像素模糊区域进行边缘分割,...
【文章来源】：西安科技大学陕西省
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
彩色图像和
西安科技大学硕士学位论文4图1.2深度图像传输流程从深度图像的获取原理及存在的问题分析得知，深度传感器采集的深度图像存在大量空洞，分辨率低等缺陷，造成深度图像质量较低，因此要进行修复、上采样等处理，提高深度图像的质量。针对低质量深度图像，可以通过提升深度传感器硬件设备获取高质量深度图像，但是这种提升方式成本过高，不利于广泛的推广应用。而在现有的低成本深度传感器的基础上，基于深度图像修复技术与深度图像上采样重建技术的理论基础，对深度图像质量增强方法进行研究，获取高精度高质量的深度图像，具有很高的应用研究价值。1.2国内外研究现状1.2.1深度图像修复技术深度图像修复是深度图像的研究热点问题，目前深度图像修复方法主要分为两种，一种是基于彩色图像引导的深度图像修复方法，另一种是基于单幅深度图像修复方法。（1）基于彩色图像引导的深度图像修复方法该类方法是利用同场景彩色图像和深度图像间对应关系协助深度图像进行空洞修复。Camplani等人提出了一种联合双边滤波（JointBilateralFilter,JBF）算法对深度图像进行修复[9]，该算法利用同场景彩色图作为引导图，由引导图确定滤波权值对空洞进行修复。彩色图像的引入使得灰度值相似度因子和空间临近因子的获取更为精确，减少空洞像素计算方法的误差。该算法提高了空洞修复的准确性，但是当引导图中物体和背景颜色相似，则不利于物体边缘处空洞的准确修复，容易在深度图像修复过程中产生误差。Wang等人[10]采用马尔科夫随机场（MarkovRandomField,MRF）优化算法，将彩色图像的颜色、边缘和平滑先验信息与原始深度值融合，从而填充空洞。但深度边缘和颜色边缘之间的不一致性，容易导致图像边缘模糊[11]。Zhang等人[12]采用训练卷积网络模型的方式，预测彩
2深度图像修复及上采样相关研究15改善；但是，此方法对整个图像的不同部分执行相同的处理，因此，它仅适用于重建纹理和边缘信息较少的平滑图像。2.2.2基于优化的方法基于优化的上采样重建方法从图像的降质退化模型出发，依据原始图像的退化模型和先验知识，建立优化函数，通过最优化算法求解该函数所得到的极值即上采样后的图像。图像退化模型如图2.1所示：图2.1低分辨率图像成像过程该成像过程用公式表示：yHxN(2.18)式中，y表示下采样后的低分辨率图像，x为原始图像，N表示加性噪声。在数学模型中，H是对图像的几何形变、下采样和模糊操作矩阵（退化矩阵）。图像上采样技术就是一种依据低分辨率图像的基本成像模型，从低分辨率图像中恢复出高分辨率图像的技术。图像的高分辨率重建是不适定的逆问题，通过给定的低分辨率图像y，可以重建高分辨率的x，这类问题一般采用无约束的最优化方法来解决。然而，用这类方法求得的最优解通常并不是唯一的，或者说是不稳定的。为了获得问题的稳定解，需要将一些先验知识添加到约束方程中。即使用图像的先验知识来规范化上述问题以找到更好的解决方案，这称为正则化优化问题。基于图像退化模型，优化上采样重建表示为：argminppyHxxxx(2.19)式(2.19)中，ppyHx衡量观测数据和真实数据之间的保真或拟合程度，x包含重建所需的先验信息并对解的正则性等进行约束，称为正则项；在数据保真项和正则项之间进行均衡，称为正则化参数。项作为正则项权重系数，可用来调节正则项和保真项之间的权重关系，过高将会使图像边缘变得过度平滑，而过低将会影响去噪的表现。针对此优化问题，通常对正则项引入1范式和2范式进行求解。
【参考文献】：
期刊论文
[1]无人驾驶中3D目标检测方法研究综述[J]. 季一木,陈治宇,田鹏浩,吴飞,刘尚东,孙静,焦志鹏,王娜,毕强. 南京邮电大学学报(自然科学版). 2019(04)
[2]基于目标特征的植株深度图像修复[J]. 陈国军,程琰,曹岳,李胜. 图学学报. 2019(03)
[3]基于像素滤波和中值滤波的深度图像修复方法[J]. 刘继忠,吴文虎,程承,王光辉,曾成. 光电子·激光. 2018(05)
[4]模糊C-均值聚类引导的Kinect深度图像修复算法[J]. 万红,钱锐. 计算机应用研究. 2019(05)
[5]基于高斯过程回归与马尔科夫随机场的三维深度图像重构算法[J]. 吴倩倩,蔡艳. 应用激光. 2017(06)
[6]基于Kinect v2的实时精确三维重建系统[J]. 李诗锐,李琪,李海洋,侯沛宏,曹伟国,王向东,李华. 软件学报. 2016(10)
[7]一种由粗至精的RGB-D室内场景语义分割方法[J]. 刘天亮,冯希龙,顾雁秋,戴修斌,罗杰波. 东南大学学报(自然科学版). 2016(04)
[8]基于高斯混合模型的Kinect深度图像增强算法[J]. 李少敏,张倩,王沛,陈佳佳,黄继风. 上海师范大学学报(自然科学版). 2016(01)
[9]结合同场景立体图对的高质量深度图像重建[J]. 杨宇翔,高明煜,尹克,吴占雄. 中国图象图形学报. 2015(01)
本文编号：3106341
【文章来源】：西安科技大学陕西省
【文章页数】：57 页
【学位级别】：硕士
【部分图文】：
彩色图像和
西安科技大学硕士学位论文4图1.2深度图像传输流程从深度图像的获取原理及存在的问题分析得知，深度传感器采集的深度图像存在大量空洞，分辨率低等缺陷，造成深度图像质量较低，因此要进行修复、上采样等处理，提高深度图像的质量。针对低质量深度图像，可以通过提升深度传感器硬件设备获取高质量深度图像，但是这种提升方式成本过高，不利于广泛的推广应用。而在现有的低成本深度传感器的基础上，基于深度图像修复技术与深度图像上采样重建技术的理论基础，对深度图像质量增强方法进行研究，获取高精度高质量的深度图像，具有很高的应用研究价值。1.2国内外研究现状1.2.1深度图像修复技术深度图像修复是深度图像的研究热点问题，目前深度图像修复方法主要分为两种，一种是基于彩色图像引导的深度图像修复方法，另一种是基于单幅深度图像修复方法。（1）基于彩色图像引导的深度图像修复方法该类方法是利用同场景彩色图像和深度图像间对应关系协助深度图像进行空洞修复。Camplani等人提出了一种联合双边滤波（JointBilateralFilter,JBF）算法对深度图像进行修复[9]，该算法利用同场景彩色图作为引导图，由引导图确定滤波权值对空洞进行修复。彩色图像的引入使得灰度值相似度因子和空间临近因子的获取更为精确，减少空洞像素计算方法的误差。该算法提高了空洞修复的准确性，但是当引导图中物体和背景颜色相似，则不利于物体边缘处空洞的准确修复，容易在深度图像修复过程中产生误差。Wang等人[10]采用马尔科夫随机场（MarkovRandomField,MRF）优化算法，将彩色图像的颜色、边缘和平滑先验信息与原始深度值融合，从而填充空洞。但深度边缘和颜色边缘之间的不一致性，容易导致图像边缘模糊[11]。Zhang等人[12]采用训练卷积网络模型的方式，预测彩
2深度图像修复及上采样相关研究15改善；但是，此方法对整个图像的不同部分执行相同的处理，因此，它仅适用于重建纹理和边缘信息较少的平滑图像。2.2.2基于优化的方法基于优化的上采样重建方法从图像的降质退化模型出发，依据原始图像的退化模型和先验知识，建立优化函数，通过最优化算法求解该函数所得到的极值即上采样后的图像。图像退化模型如图2.1所示：图2.1低分辨率图像成像过程该成像过程用公式表示：yHxN(2.18)式中，y表示下采样后的低分辨率图像，x为原始图像，N表示加性噪声。在数学模型中，H是对图像的几何形变、下采样和模糊操作矩阵（退化矩阵）。图像上采样技术就是一种依据低分辨率图像的基本成像模型，从低分辨率图像中恢复出高分辨率图像的技术。图像的高分辨率重建是不适定的逆问题，通过给定的低分辨率图像y，可以重建高分辨率的x，这类问题一般采用无约束的最优化方法来解决。然而，用这类方法求得的最优解通常并不是唯一的，或者说是不稳定的。为了获得问题的稳定解，需要将一些先验知识添加到约束方程中。即使用图像的先验知识来规范化上述问题以找到更好的解决方案，这称为正则化优化问题。基于图像退化模型，优化上采样重建表示为：argminppyHxxxx(2.19)式(2.19)中，ppyHx衡量观测数据和真实数据之间的保真或拟合程度，x包含重建所需的先验信息并对解的正则性等进行约束，称为正则项；在数据保真项和正则项之间进行均衡，称为正则化参数。项作为正则项权重系数，可用来调节正则项和保真项之间的权重关系，过高将会使图像边缘变得过度平滑，而过低将会影响去噪的表现。针对此优化问题，通常对正则项引入1范式和2范式进行求解。
【参考文献】：
期刊论文
[1]无人驾驶中3D目标检测方法研究综述[J]. 季一木,陈治宇,田鹏浩,吴飞,刘尚东,孙静,焦志鹏,王娜,毕强. 南京邮电大学学报(自然科学版). 2019(04)
[2]基于目标特征的植株深度图像修复[J]. 陈国军,程琰,曹岳,李胜. 图学学报. 2019(03)
[3]基于像素滤波和中值滤波的深度图像修复方法[J]. 刘继忠,吴文虎,程承,王光辉,曾成. 光电子·激光. 2018(05)
[4]模糊C-均值聚类引导的Kinect深度图像修复算法[J]. 万红,钱锐. 计算机应用研究. 2019(05)
[5]基于高斯过程回归与马尔科夫随机场的三维深度图像重构算法[J]. 吴倩倩,蔡艳. 应用激光. 2017(06)
[6]基于Kinect v2的实时精确三维重建系统[J]. 李诗锐,李琪,李海洋,侯沛宏,曹伟国,王向东,李华. 软件学报. 2016(10)
[7]一种由粗至精的RGB-D室内场景语义分割方法[J]. 刘天亮,冯希龙,顾雁秋,戴修斌,罗杰波. 东南大学学报(自然科学版). 2016(04)
[8]基于高斯混合模型的Kinect深度图像增强算法[J]. 李少敏,张倩,王沛,陈佳佳,黄继风. 上海师范大学学报(自然科学版). 2016(01)
[9]结合同场景立体图对的高质量深度图像重建[J]. 杨宇翔,高明煜,尹克,吴占雄. 中国图象图形学报. 2015(01)
本文编号：3106341
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3106341.html
