基于置信度传播、语义信息和特征增强的深度补全研究

发布时间：2023-05-26 21:22

　　场景深度补全旨在通过算法补全深度图中空洞区域以得到稠密且精确的深度图,是计算机视觉中的一个重要课题。所获取的深度图信息在机器人、自动驾驶和增强现实等领域中起到关键性作用。神经网络强大的特征表达能力和端到端的训练方法极大地助力了深度补全的发展,本文围绕基于卷积神经网络的深度补全,分别从稀疏深度图特征提取、联合深度补全和语义分割以及联合网络的优化三个方面展开研究,主要工作和贡献如下:(1)基于置信度传播搭建了深度补全小型网络,由置信度传播模块、场景理解模块、深度优化模块和融合调精模块组成。置信度传播模块显式地考虑数据的稀疏性,解决Li DAR采集的深度图高度稀疏且不规则间隔的问题;融合调精模块融合来自深度图的深度信息和来自彩色图像的场景信息,实现由粗到精的深度补全,解决采集的深度图缺乏场景信息的问题。(2)通过探究深度补全和语义分割两项任务的内在联系,提出了一种基于语义信息的深度补全方法。搭建了基于编解码结构的联合网络模型,显式地提升了网络提取场景结构信息的能力。提出了一种跨域边缘一致性损失函数,利用真实语义分割图指导深度图的补全,解决补全得到的深度图在目标边缘区域模糊的问题。(3)通过对...

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 单目深度估计方法
        1.2.2 室内场景下的深度补全方法
        1.2.3 无指导的深度补全方法
        1.2.4 有彩色图像指导的深度补全方法
        1.2.5 联合语义分割的深度恢复方法
    1.3 数据集与评价指标
        1.3.1 数据集
        1.3.2 评价指标
    1.4 本文的主要研究内容与贡献
    1.5 本文的结构安排
2 基于置信度传播的深度补全方法
    2.1 引言
    2.2 归一化卷积层和层叠沙漏网络概述
        2.2.1 归一化卷积层
        2.2.2 层叠沙漏网络
    2.3 框架设计与算法实现
        2.3.1 置信度传播模块
        2.3.2 融合调精模块
    2.4 实验结果与分析
        2.4.1 损失函数
        2.4.2 数据集设置和实验设置
        2.4.3 置信度传播方法实验
        2.4.4 与其他算法的对比
    2.5 本章小结
3 基于语义信息的深度补全方法
    3.1 引言
    3.2 框架设计与算法实现
        3.2.1 编码模块
        3.2.2 解码模块
        3.2.3 联合损失函数
    3.3 实验结果与分析
        3.3.1 数据集设置
        3.3.2 有效性验证实验
        3.3.3 与其他算法的对比
    3.4 本章小结
4 基于特征增强的深度补全方法
    4.1 引言
    4.2 注意力机制和像素自适应卷积层概述
        4.2.1 注意力机制
        4.2.2 像素自适应卷积层
    4.3 改进版框架设计与算法实现
        4.3.1 特征去干扰模块
        4.3.2 交互解码模块
    4.4 实验结果与分析
        4.4.1 有效性验证实验
        4.4.2 与其他算法的对比
    4.5 本章小结
5 总结与展望
    5.1 本文工作总结
    5.2 未来工作展望
参考文献
攻读硕士期间主要科研成果



本文编号：3823304