基于多尺度信息和注意力的立体匹配算法

发布时间：2023-07-24 23:56

　　双目立体匹配是计算机视觉中一个基础而重要的研究方向,其任务是基于一对矫正后的图像来计算出参考图中每个像素的视差。最近随着卷积神经网络的发展,基于深度学习的双目立体匹配算法取得非常好的效果。然而这些方法在一些重复纹理,稀疏纹理以及遮挡等病态区域上仍然不理想。本文在DispNets基础上结合双目立体匹配任务特点,提出了一种基于多尺度信息和注意力的立体匹配算法。我们首先提出了一种基于多尺度上下文信息的双目立体匹配算法,通过使用空间金字池化层来将多尺度的上下文信息进行融合,并且引入带洞卷积在不降低分辨率的情况下保持相同的感受野,减少了小尺度物体高级语义信息的丢失。然后我们结合残差注意力机制,提出了多尺度注意力机制的匹配算法,网络能够为视差预测时自适应地提像素级别的注意力信息,减少冗余信息。最后我们结合金字塔池化层和注意力机制,提出了多尺度上下文信息和注意力机制的双目立体匹配算法,作为最终的模型。我们在Flyingthings3D,KITTI2012和KITTI2015三个数据集上与一些前沿算法进行了一系列对比实验。我们提出的基于多尺度上下文信息匹配算法和基于注意力机制的匹配算法在三个数据集的测...

【文章页数】：43 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 非端到端的深度立体匹配算法
        1.2.2 端到端的深度立体匹配算法
    1.3 研究内容和贡献
    1.4 论文章节安排
2 双目立体视觉原理和Disp Nets模型
    2.1 立体视觉基本原理
        2.1.1 单目视觉
        2.1.2 双目视觉
        2.1.3 对极几何原理
        2.1.4 视差和深度关系
    2.2 DispNets模型
3 本文算法
    3.1 基于多尺度上下文信息的方法
        3.1.1 空间金字塔池化层
        3.1.2 带洞卷积
        3.1.3 基于多尺度上下文信息的方法
    3.2 多尺度注意力模型
        3.2.1 注意力机制
        3.2.2 残差注意力
        3.2.3 多尺度注意力机制模型
    3.3 基于多尺度上下文信息和注意力机制的立体匹配算法
4 实验结果分析
    4.1 双目数据
    4.2 实验细节
        4.2.1 实验数据预处理
        4.2.2 模型训练
    4.3 模型定性和定量评价
        4.3.1 测评指标
        4.3.2 DispnetS,DispnetSPP和 DispnetSA模型分析
        4.3.3 DispnetSPPA模型
        4.3.4 双目立体匹配算法比较
结论
参考文献
攻读硕士学位期间发表学术论文情况
致谢



本文编号：3836764