硬件友好的高精度立体视觉图像匹配算法研究
发布时间：2021-06-25 03:48
深度信息在车辆自动驾驶系统、机器人导航、三维重建等计算机视觉任务中发挥着非常重要的作用。立体匹配是一种经济便捷的从多个视图中获取深度信息的技术。高精度的匹配算法往往会消耗大量的计算资源和较长的运行时间。为了在资源有限的硬件平台上实现实时的立体视觉系统,设计硬件友好的高精度匹配算法具有重要意义。本文针对实时的高精度立体匹配算法开展研究,主要工作如下:（1）面向基于半全局匹配的深度信息估计算法,本文设计了一种两周期分时复用的资源高效的流水线硬件架构。其中对输入图像进行降采样处理来提升系统吞吐率,跳列、代价量化等策略来减少硬件资源消耗,并提出加权路径代价聚合来提升算法精度。基于Zynq-7 FPGA对所提出的架构进行了性能评估,在200MHz频率和128视差范围下系统的吞吐率可达到1280×960@1 16Hz,MDE/s 为 18245。（2）基于卷积神经网络,设计了一种端到端的立体匹配网络,FPN（Feature Pyramid Network）-Net。在网络中引入ResNet网络来提取特征,并利用特征金字塔网络进行多尺度信息的融合。为了更加充分学习上下文信息,设计了具有编解码架构的沙...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
图１．１立体视觉系统的构成??由于大多数稠密的立体匹配算法对计算的需求很高，需要使用大的计算平台??作支撑
，并在计算理论层面给出了三维重建的定义。从２０世??纪８０年代开始，有关于立体视觉系统的技术已经成为计算机视觉的研宄热点。??其中，立体匹配作为立体视觉系统中的核心模块，研宄人员开发了很多立体匹配??的算法，并且在各种硬件平台上开展了诸多实验，取得了很多宝贵的研宄成果。??Ｔｉｐｐｅｔｓ！１５］对立体匹配算法进行了全面的回顾，并强调了实时性能，以识别适??合资源有限的系统的算法。立体视觉的准确性受丢失信息的影响，这些丢失的信??息常见于遮挡、倾斜的表面以及无纹理或低纹理的病态区域（如图１．２所示）。??此外在获取图像时受到光照条件、噪声等影响，立体匹配在这些病态区域的匹配??效果并不理想，往往与真实视差存在很大的偏差。因此，Ｓｃｈａｒｓｔｅｉｎ等人提供??了一个专用于量化评估立体匹配算法的Ｍｉｄｄｌｅｂｕｒｙ测试平台，并提供了相关的??图像数据集。之后，Ｇｅｉｇｅｒ等人提拱了?ＫＩＴＴＩ２０１２［Ｉ７Ｉ和ＫＩＴＴＩ２０１５Ｗ１两个街景路??况的图像数据集。这些数据集都经过了图像校正处理，并且提供了包含真实地面??视差图的训练集和不含真实视差图的测试集。??ＨＤ國麗??（ａ）圯学失真和噪声?（Ｗ镜面反射??，公矣＞、．??ｍＨ??ｌｉｑ?ｆＭｉＢｓ??（Ｃ）低纹理?（ｃｉ）？Ｅ纹埋??图１．２立体匹配病态区??根据寻找匹配代价成本的方法，可将立体匹配的算法分为局部算法和全局能??量最小化方法ｎ９］。局部算法通常使用局部约束，计算复杂度较低，是一种非常高??效的立体匹配算法。局部匹配通常利用基于像素的信息（如灰度、梯度、颜色等??信息）来计算初始匹配代价，比如ＳＡＤ（ｓｕｍｏｆａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ
?第２章双目立体视觉系统概述???第２章双目立体视觉系统概述??双目立体视觉系统是利用双目摄像机同时采集左右图像进行处理并实时输??出高分辨率视差图的一个视觉处理系统。在获取左右图像后首先会进行相机标定??和图像校正，再送入立体匹配环节，输出高精度的稠密视差图。本章将简要概述??双目立体视觉系统的组成，分别就相机的成像模型，常见的相机标定算法和图像??校正原理展开说明，最后针对立体匹配的两大类算法作相关的阐述。??２．１相机成像模型??２．１．１空间坐标系??在现代计算机的视觉成像系统中，光学中的成像过程通常涉及到以下四种空??间坐标系的转换［１３］。如图２．１所示。??图像像素坐标系：指代的是三维空间中的点Ｐ在二维图像平面上的投影，图??像平面左上方一点对应像素坐标系的原点，ｗ轴平行于该图像平面水平向右，ｖ??轴与ｗ轴垂直，方向朝下，像素点的具体坐标可以用来表示，代表第》行??第ｖ列。??图像物理坐标系：图像平面中心㈨⑴叫）对应该坐标系的原点，ｘ轴与像素坐??标系的《轴平行，轴平行于Ｖ轴。??相机坐标系：坐标系原点仏是相机的光心，Ｘ轴和Ｙ轴分别与物理坐标系ＪＣ??轴、７轴平行，Ｚ轴代表相机的光轴，用（ＸｄＺｃ）表示场景点的坐标。??世界坐标系：即绝对坐标系，可以用（ｘｗ，ｙｗ，ｚｗ）来表示场景点所对应的绝对??坐标，该坐标不随相机位置改变而改变。??〇０??Ｐ（Ｘｃ，Ｙｃ，Ｚｃ）??°?？?Ｚｃ?Ｙｗ??／??Ｘｃ?ｙＺ，．??ｃ?＾Ｘｗ??图２．１参考坐标系??２．１．２针孔模型??９??
本文编号：3248431
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：83 页
【学位级别】：硕士
【部分图文】：
图１．１立体视觉系统的构成??由于大多数稠密的立体匹配算法对计算的需求很高，需要使用大的计算平台??作支撑
，并在计算理论层面给出了三维重建的定义。从２０世??纪８０年代开始，有关于立体视觉系统的技术已经成为计算机视觉的研宄热点。??其中，立体匹配作为立体视觉系统中的核心模块，研宄人员开发了很多立体匹配??的算法，并且在各种硬件平台上开展了诸多实验，取得了很多宝贵的研宄成果。??Ｔｉｐｐｅｔｓ！１５］对立体匹配算法进行了全面的回顾，并强调了实时性能，以识别适??合资源有限的系统的算法。立体视觉的准确性受丢失信息的影响，这些丢失的信??息常见于遮挡、倾斜的表面以及无纹理或低纹理的病态区域（如图１．２所示）。??此外在获取图像时受到光照条件、噪声等影响，立体匹配在这些病态区域的匹配??效果并不理想，往往与真实视差存在很大的偏差。因此，Ｓｃｈａｒｓｔｅｉｎ等人提供??了一个专用于量化评估立体匹配算法的Ｍｉｄｄｌｅｂｕｒｙ测试平台，并提供了相关的??图像数据集。之后，Ｇｅｉｇｅｒ等人提拱了?ＫＩＴＴＩ２０１２［Ｉ７Ｉ和ＫＩＴＴＩ２０１５Ｗ１两个街景路??况的图像数据集。这些数据集都经过了图像校正处理，并且提供了包含真实地面??视差图的训练集和不含真实视差图的测试集。??ＨＤ國麗??（ａ）圯学失真和噪声?（Ｗ镜面反射??，公矣＞、．??ｍＨ??ｌｉｑ?ｆＭｉＢｓ??（Ｃ）低纹理?（ｃｉ）？Ｅ纹埋??图１．２立体匹配病态区??根据寻找匹配代价成本的方法，可将立体匹配的算法分为局部算法和全局能??量最小化方法ｎ９］。局部算法通常使用局部约束，计算复杂度较低，是一种非常高??效的立体匹配算法。局部匹配通常利用基于像素的信息（如灰度、梯度、颜色等??信息）来计算初始匹配代价，比如ＳＡＤ（ｓｕｍｏｆａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ
?第２章双目立体视觉系统概述???第２章双目立体视觉系统概述??双目立体视觉系统是利用双目摄像机同时采集左右图像进行处理并实时输??出高分辨率视差图的一个视觉处理系统。在获取左右图像后首先会进行相机标定??和图像校正，再送入立体匹配环节，输出高精度的稠密视差图。本章将简要概述??双目立体视觉系统的组成，分别就相机的成像模型，常见的相机标定算法和图像??校正原理展开说明，最后针对立体匹配的两大类算法作相关的阐述。??２．１相机成像模型??２．１．１空间坐标系??在现代计算机的视觉成像系统中，光学中的成像过程通常涉及到以下四种空??间坐标系的转换［１３］。如图２．１所示。??图像像素坐标系：指代的是三维空间中的点Ｐ在二维图像平面上的投影，图??像平面左上方一点对应像素坐标系的原点，ｗ轴平行于该图像平面水平向右，ｖ??轴与ｗ轴垂直，方向朝下，像素点的具体坐标可以用来表示，代表第》行??第ｖ列。??图像物理坐标系：图像平面中心㈨⑴叫）对应该坐标系的原点，ｘ轴与像素坐??标系的《轴平行，轴平行于Ｖ轴。??相机坐标系：坐标系原点仏是相机的光心，Ｘ轴和Ｙ轴分别与物理坐标系ＪＣ??轴、７轴平行，Ｚ轴代表相机的光轴，用（ＸｄＺｃ）表示场景点的坐标。??世界坐标系：即绝对坐标系，可以用（ｘｗ，ｙｗ，ｚｗ）来表示场景点所对应的绝对??坐标，该坐标不随相机位置改变而改变。??〇０??Ｐ（Ｘｃ，Ｙｃ，Ｚｃ）??°?？?Ｚｃ?Ｙｗ??／??Ｘｃ?ｙＺ，．??ｃ?＾Ｘｗ??图２．１参考坐标系??２．１．２针孔模型??９??
本文编号：3248431
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3248431.html
