基于双分支多尺度网络的深度图像处理算法研究

发布时间：2022-01-09 20:36

　　场景深度信息可用于众多计算机视觉领域的研究和应用,针对深度数据的相关研究也是机器视觉研究的重要组成部分和研究热点。然而,各类深度摄像机获取的深度图像仍然存在很多缺陷,难以直接使用。常见的问题有像素残缺、分辨率低下等,需要人为修补和提高分辨率后才能用于实际研究和应用。因此深度图像的补全和超分辨问题作为应用深度信息的前提问题,其重要性不言而喻。此外,各类机器视觉算法通常需要检测图像的边缘。图像边缘检测方法发展历史悠久,但直到近几年才出现达到人类边缘识别准确率的边缘检测算法。对图像边缘检测方法的研究,仍然具有重要意义。本文针对上述问题进行了研究,主要工作有:1.研究了深度图像补全问题,提出了一种基于双分支多尺度特征编码器的深度图像补全方法,解决了颜色和深度两个模态数据多尺度特征的提取和融合问题,改善了深度图像补全结果边界模糊问题。通过对比实验,验证了多项改进的有效性。2.研究了深度图像超分辨问题,提出了一种基于频域分解的双分支深度图像超分辨方法,引导深度图像超分辨网络专注学习高频特征,强化了超分辨网络的细节生成能力。在公开的数据集上进行实验,得到了较好的深度图像超分辨结果。3.研究了图像边缘... 

【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

常见深度摄像机

１．２国内外研究现状?５??例如，在图ｌ－３（ｂ）中像素颜色越深代表距离相机越近，完全黑色的像素为??缺失深度值像素，图ｌ－３（ａ）中的镜子误导了深度传感器对于距离的判断，镜子??位置的深度值表明镜内像素己位于墙壁内部。而高反射率的金属镜框则使得深??度传感器完全获取不到该位置深度值。图丨－４显示了深度值转换成的三维点云??投影到图像平面的结果，图中点阵的颜色表示景深，暖色调表示近距，冷色调??表示远距。除去图像顶部由于分辨率差异导致的深度摄像机无法获取深度的区??域外，图像中心灭点附近场景由于距离过远，深度摄像机也无法取得该位置深??度值。??

本章提出了新的模态独立分支结构，两个分支分别处理颜色和深度图像，得到??独立的颜色和深度特征。??如图２－２所示的编码器一一解码器网络结构被广泛应用于各种计算机视觉??任务，其中，编码器将输入数据经过多层卷积、池化、激活、批正则化等操??作，综合形成全局特征，作为解码器的输入。然而，如果仅仅使用编码器中最??后一层输出的高层次全局特征，则会忽略低层次局部特征。Ｈｅ等人［５４］提出的??跳跃连接（ｓｋｉｐ?ｃｏｎｎｅｃｔｉｏｎ）通过允许网络前层信息直接传输到后面的层中，可??以在兼顾低层特征的同时避免网络退化问题。不同于此，本章提出的多尺度多??层次特征编码结构，可以使得网络同时关注全局和局部特征，丰富编码器输出??特征的信息量。??４?ｈ?ａ?ｒＭ??＾?Ｕ?＾?Ｕ?＾??输入?编码器特征解码器输出??图２－２：编码器——解码器网络结构图??此外，大多数深度图像补全工作得到的补全结果都会出现物体边界模糊问??题


本文编号：3579401