基于深度学习和迁移学习联合的RGB-D语义分割模型研究

发布时间：2020-08-27 22:44

【摘要】：近年来,无人机、无人车、智能机器人等领域飞速发展,逐步成为国家经济发展、社会民生改善的下一个高科技产业链,更加精准的环境语义信息成为这些智能体进行自主避障导航、智能路径规划等任务的必要前提。然而在复杂室内场景下,由于光照不均匀、遮挡关系复杂、色彩纹理重复性高等干扰因素,基于RGB彩色图像的语义分割的方法存在物体边缘误分割、类别误分类等问题,无法实现智能体对环境语义信息的精确理解。联合RGB彩色图像和Depth深度图像的语义分割方法能够利用深度图像中所包含的空间三维信息,该信息受光照影响小,同时反映出物体之间的位置关系,最终实现更高精度的室内场景语义分割效果。本文深入研究了RGB-D语义分割领域,开展了理论研究创新和应用实践,主要研究成果与创新包括:1.针对现有RGB语义分割模型在复杂室内场景下分割精度低的问题,本文提出了一种融合深度信息的RGB-D语义分割网络。通过可视化两种模态下网络提取出的特征图谱,本文探讨分析了深度图像与RGB彩色图像的融合位置与融合方法,并在融合-分支结构的基础上,创新性地提出了一种特征筛选结构。该结构使用一组可学习的特征惩罚因子,对融合之后的RGB-D特征进行加权处理,完成特征的筛选过程。经过实验证明,本文提出的融合结构与特征筛选结构在RGB-D语义分割任务中,区域交占比精度最高提升5.7%。2.针对深度图像中存在的深度空洞(无效值与缺失值)问题,本文提出了一种基于快速进行法的深度修复算法。该算法利用RGB彩色图像中像素之间的相关性,为深度图像中对应像素点估计深度值。该算法充分考虑了深度空洞区域与RGB图像的对应关系,针对性地优化深度值估计函数,并修改了参考像素点的加权函数,使得最终的深度图修复结果能够获取更加锐利精确的边缘。经过实验证明,使用修复后的深度图,RGB-D语义分割模型的区域交占比精度提升2.1%。3.本文发现,将训练好的RGB-D模型应用在实际场景中,模型仍存在误分割与误分类现象,该问题是由训练数据集与实际场景数据存在较大差别导致。针对此问题,本文提出了一种联合迁移学习的RGB-D语义分割网络。该网络在上述RGB-D语义分割模型中进一步引入了自适应层,在模型的损失函数中加入了最大均值差异优化项,通过不断优化训练数据集与实际场景数据集的特征在高维空间中的数据分布差异,使得模型在无监督的小数据集上取得更好的分割效果。本文采集部分实验室环境数据,构建了一个小规模语义分割数据集,并在该数据集上进行应用实验,实验结果表明,联合迁移学习的语义分割模型在实际场景数据集上,区域交占比精度提升了1.4%。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP181
【图文】：

区域分类,语义,物体,多样性

逦北京邮电大学工学硕士学位论文逦逡逑ＳＬＡＭ系统中常用深度相机采集环境的深度信息。市面上深度相机主要分两逡逑类，第一类是基于投影光斑特征匹配进行深度测量的相机，比如Ｋｉｎｅｃｔ邋ｖｌ，逡逑ＲｅａｌＳｅｎｓｅ等；第二类是基于反射时间进行深度测量的相机，比如Ｋｉｎｅｃｔ邋ｖ２等。逡逑尽管被广泛采用，但在实际使用时，深度相机采集到的深度图像仍存在无效值与逡逑缺失值，这些没有测量到可用深度值的像素点形成了一些非连通的深度空洞区域。逡逑在图卜１中可以看到，深度空洞区域破坏了物体完整的结构信息，王奎等人在文逡逑献［５】中提到这些区域可分为三类：第一类是由于深度图像在重新投影过程中拉伸逡逑造成的小范围空洞，第二类是由于材质原因使得探测光出现透射或散射而形成的逡逑大范围空洞，第三类是由于在参考视点中遮挡关系的存在导致的大范围空洞。概逡逑括而言，空洞区域一般出现在纹理同源区域，物体边界处以及不均匀反射处。因逡逑此，如果要利用深度信息辅助ＲＧＢ彩色图像进行分割，对深度空洞区域进行修逡逑复是十分有必要的。逡逑．逡逑

深度图像,数据集,标签,语义

也都会被保存。带有人工标注的子集由成对的ＲＧＢ图像和深度图像组成，该子逡逑集共包括１４４９对样本，ＲＧＢ图像和深度图像在时间和空间上均进行了对齐，同逡逑时还包括彩色图像上进行标注的像素密集标签。如图１－２所示，这１４４９个样本逡逑５逡逑

示意图,人工神经元,示意图

，巧，如最基础的卷积运算，用于特征归纳的池化操作，还有卷基石后向传播算法等。随后，本文将介绍用于语义分割任务的并且介绍其详细结构以及训练过程。逡逑神经网络概述逡逑神经网络的发展历史逡逑神经网络本质上是带有卷积结构的人工神经网络（ＡＮＮ，ｅｔｗｏｒｋ），一种受生物学和神经学启发的数学模型。在这些模元按照一定拓扑结构，彼此之间进行单向或者双向连接。一般以任意设定，组合起来的神经元所形成的网络，就成为人工神网络。它是对人类大脑中神经元网络的一种抽象，研宄者希望模拟人脑处理一些问题的方式。逡逑

【相似文献】