基于单张RGB图像的室内场景三维重建研究

发布时间：2021-05-23 03:22

　　室内三维重建的主要任务是通过利用多个视图或者单个视图的信息,恢复室内场景的真实原貌,重建的三维场景可用在室内导航、场景理解、增强现实等领域。目前大部分三维重建的研究都只聚焦于普通的RGB透视图像,而未涉及360度RGB全景图像。此外,现有的方法在处理杂乱、多遮挡场景时往往效果不佳。针对上述问题,本文基于单张RGB全景图像,对室内场景的三维重建展开了研究。由于室内场景的三维重建研究涉及多个子问题,本文主要关注室内布局重建和室内深度估计这两个基本子问题。在室内布局重建的研究中,本文基于Layout Net和Horizon Net网络架构进行改进,提出了两种布局重建方案。第一种方案基于Layout Net架构,利用编码器-解码器结构的神经网络提取全景图的特征,得到粗略的布局估计结果,并在后处理阶段使用梯度优化算法对布局估计结果进行优化。第二种方案基于Horizon Net架构,利用深度残差网络提取全景图的特征,使用LSTM模块改善布局估计的结果,并在训练阶段加入全景拉伸这一数据增强机制,在一定程度上减小了杂乱多遮挡场景下的布局重建误差。实验结果表明,本文的第一种方案在布局预测精度和重建效果上... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景
    1.2 课题研究的目的和意义
    1.3 国内外研究和发展现状
        1.3.1 室内场景的布局重建
        1.3.2 室内场景的深度估计
    1.4 本文的主要研究内容
第2章 基于单张全景图的室内布局重建
    2.1 引言
    2.2 基于Layout Net的布局重建方案
        2.2.1 整体框架
        2.2.2 输入模块
        2.2.3 特征提取模块
        2.2.4 梯度优化算法
    2.3 基于Horizon Net的布局重建方案
        2.3.1 整体框架
        2.3.2 特征提取模块
        2.3.3 LSTM模块
        2.3.4 全景拉伸机制
    2.4 实验结果与分析
        2.4.1 公共数据集及评价指标
        2.4.2 性能评估
        2.4.3 对比实验
        2.4.4 消融实验
        2.4.5 误差分析
    2.5 本章小结
第3章 面向布局重建的全景数据集制作
    3.1 引言
    3.2 数据采集
        3.2.1 真实场景的数据采集
        3.2.2 基于Matterport数据集的全景图合成
    3.3 全景图标注
        3.3.1 预处理
        3.3.2 布局标注
    3.4 真实布局信息获取
        3.4.1 角点位置
        3.4.2 边缘图和角点图
    3.5 数据集划分
    3.6 实验结果与分析
        3.6.1 真实数据集
        3.6.2 合成数据集
    3.7 本章小结
第4章 基于单张全景图的室内深度估计
    4.1 引言
    4.2 基于间接法的全景深度估计
        4.2.1 全景图像分割
        4.2.2 单目深度估计
        4.2.3 深度图合成
    4.3 基于直接法的全景深度估计
        4.3.1 整体框架
        4.3.2 预处理模块
        4.3.3 编码器模块
        4.3.4 解码器和预测输出模块
    4.4 实验结果与分析
        4.4.1 间接法
        4.4.2 直接法
    4.5 本章小结
结论
参考文献
致谢



本文编号：3202190