基于条件对抗网络的立体匹配算法

发布时间：2023-10-17 17:50

　　立体匹配是计算机视觉研究中最古老的课题之一。其目标是模拟人类的视觉系统,用相机代替双目,用算法代替大脑,从场景的两张二维图像中还原出深度信息来。在诸如三维重建、自动驾驶、体感游戏等许多计算机视觉应用中,立体匹配都起到了着至关重要的作用。其算法的核心任务是,对输入的两张图片做逐像素对的匹配,输出对应的视差图。通过数学变换,视差图可以转换成对应的深度图。最近,深度学习的一个全新分支——生成对抗网络开始越来越受到人们的关注。本论文首次尝试将生成对抗网络应用于立体匹配任务中,提出了一个基于条件对抗网络的立体匹配算法。本论文中的条件对抗网络由两个子网络组成:其中一个子网络是生成器,目标是学习从左右相机视图到对应视差图的映射;另一个子网络是判别器,目标是判断输入的视差图是来自于生成样本还是来自于真实样本。这里,生成器和判别器都以同一对相机视图作为输入。对于这两个子网络,本论文采用了一种对抗训练的方式进行学习。在网络架构方面,充分考虑到立体匹配任务的固有特点,本论文提出的生成器的网络结构结合了Siamese网络与U-Net。其中,Siamese网络可以处理立体匹配的左右相机视图,用于抽取出高层特征。...

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景
        1.1.1 立体匹配概述
        1.1.2 立体匹配需要克服的难点
        1.1.3 立体匹配的研究方法
        1.1.4 立体匹配的基本流程
    1.2 相关工作
        1.2.1 局部方法
        1.2.2 全局方法
        1.2.3 置信度方法
    1.3 研究动机以及本文贡献
    1.4 论文结构
第二章 深度学习及其在立体匹配中应用
    2.1 神经网络概述
        2.1.1 神经元与神经网络
        2.1.2 神经网络中的运算
    2.2 深度学习的发展
    2.3 深度学习中的基础模块
        2.3.1 卷积层
        2.3.2 激活函数
        2.3.3 池化层
        2.3.4 全连接层
        2.3.5 目标函数
    2.4 深度学习经典网络结构
        2.4.1 Alex-Net
        2.4.2 VGG-Net
        2.4.3 全卷积网络
        2.4.4 U-Net
        2.4.5 Siamese网络
    2.5 深度学习在立体匹配中的应用
        2.5.1 部分阶段的深度学习
        2.5.2 端到端的深度学习
        2.5.3 置信度方法中的深度学习
第三章 基于条件对抗网络的立体匹配算法
    3.1 对抗训练框架
        3.1.1 生成对抗网络
        3.1.2 条件生成对抗网络
        3.1.3 pix2pix
    3.2 网络结构
        3.2.1 生成器网络
        3.2.2 判别器网络
第四章 实验结果与分析
    4.1 数据集
    4.2 训练细节
        4.2.1 评价指标
        4.2.2 数据预处理方法
        4.2.3 权值初始化方法
        4.2.4 生成器的目标函数
        4.2.5 激活函数
        4.2.6 优化算法
        4.2.7 优化网络结构的超参数
        4.2.8 正则化方法
        4.2.9 重要参数汇总
        4.2.10 实现细节
    4.3 定量结果和定性结果
        4.3.1 生成器网络架构的比较
        4.3.2 判别器网络架构的比较
        4.3.3 对抗项的正则化性质
第五章 全文总结以及未来工作展望
    5.1 全文总结
    5.2 未来工作
参考文献
致谢
攻读学位期间发表的学术论文



本文编号：3854721