基于视觉语义的深度估计、实例分割与重建

发布时间：2021-02-08 23:50

　　机器人视觉系统是模拟人类视觉的复杂系统,其中的深度估计和实例分割更是颇具挑战的视觉任务。本文结合近几年先进的计算机视觉与深度学习的成果,围绕深度估计、深度图像修复、实例分割和重建等任务展开讨论,提出自己的创新方法。本文首先提出了一种用于双目深度估计的孪生分支网络,其完全相同的孪生分支和3D卷积隐藏层的连接确保了卷积网络能够学习双目视差信息,而双目视差信息正是提高深度估计方法鲁棒性的关键,紧接着本文提出一种深度图像超分和细化网络对小分辨率的孪生分支网络输出的结果进行超分辨率重建,得到高分辨率高精度深度估计结果,并设计了实验与其他方法进行对比证明本文方法的有效性;然后,鉴于近几年深度相机在室内机器人视觉系统的流行,本文提出了一种基于全卷积网络的深度图像修复方法,用于修复带有大面积缺失的由深度相机拍摄的深度图像,并设计了实验与传统的方法进行了比较;接着本文提出了一种用于非移动式机器人的工件实例分割方法,并设计实验展示了几种经典机器学习算法做核心算法时工件分类的准确度,然后提出一种通用实例分割与深度估计相结合的多任务学习网络进行通用实例分割和深度估计,展示出多任务学习使各个子任务学到的信息更加... 

【文章来源】：中国科学院大学(中国科学院深圳先进技术研究院)广东省

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 本文的主要内容及贡献
第2章 深度学习基础
    2.1 深度学习简介
    2.2 卷积神经网络常用组件及操作
        2.2.1 卷积层
        2.2.2 全连接层
        2.2.3 反卷积层
    2.3 深度学习常用术语解释
第3章 深度估计
    3.1 深度估计简介
    3.2 基于深度学习的双目孪生深度估计
    3.3 基于全卷积网络的深度图超分辨率及细化
    3.4 损失函数
    3.5 实验及实验结果
        3.5.1 数据集扩充
        3.5.2 实验
        3.5.3 实验结果及评估
    3.6 小节及展望
第4章 基于全卷积网络的深度图像修复研究
    4.1 深度图像修复研究现状
    4.2 基于全卷积网络的深度图像修复
    4.3 实验与损失函数
    4.4 实验结果
    4.5 小节及展望
第5章 实例分割与多任务学习
    5.1 基于深度图像的工件实例分割
        5.1.1 深度图像背景差的分层二值化
        5.1.2 工件确定位置和确定姿态
        5.1.3 机器学习分类
        5.1.4 机器学习分割
        5.1.5 实验及实验结果
    5.2 基于深度学习的通用实例分割经典方法:Mask R-CNN简介
        5.2.1 ResNet-FPN架构
        5.2.2 Faster R-CNN网络
        5.2.3 Mask R-CNN网络结构
        5.2.4 Mask R-CNN损失函数
    5.3 深度估计与实例分割的多任务学习
        5.3.1 同时深度估计与实例分割的多任务学习网络结构
        5.3.2 实验与损失函数
    5.4 小节
第6章 工作空间场景重建
    6.1 国内外相关方法
    6.2 工作空间场景重建
        6.2.1 基于双目深度估计的工作空间场景重建
        6.2.2 基于深度图像修复的工作空间场景重建
        6.2.3 基于多任务学习的工作空间场景重建
    6.3 场景重建结果
第7章 结束语
    7.1 本文工作总结
    7.2 下一步研究方向
参考文献
致谢
作者简历及攻读学位期间发表的学术论文与研究成果


【参考文献】：
期刊论文
[1]利用激光扫描和数码相机进行古建筑三维重建研究[J]. 邓非,张祖勋,张剑清.  测绘科学. 2007(02)
[2]一种基于多面体模型的从明暗恢复物体形状方法[J]. 张军,彭国华,秦洪元,曹文伦.  计算机工程与应用. 2004(20)

硕士论文
[1]基于光度立体图像的3D模型重建算法研究[D]. 张军.西北工业大学 2004



本文编号：3024694