基于深度学习的视觉SLAM语义地图构建
发布时间：2022-01-25 15:28
近年来随着科学技术快速发展,智能机器人的研究受到人们越来越多的关注。在智能机器人研究中,SLAM（Simultaneous Localization and Mapping）是需要解决的基础性问题。现在大多数视觉SLAM系统通过检测和匹配视觉特征点来进行定位和建图,这使得机器人SLAM系统只能利用环境中的几何信息,而无法利用环境中丰富的语义信息。RGBD相机因为可以直接获取到物体的距离信息,基于RGBD传感器的机器人视觉研究引起了众多学者的关注。一般利用RGBD数据可以重建出环境的三维点云地图,点云地图中一般含有较为丰富的空间几何信息。然而点云数据通常是不规则的空间离散点,从中获取语义信息较为困难。因此,如何让机器人获取周围环境语义信息,让机器人拥有感知能力,已经成为视觉SLAM的研究热点。本文基于ORB-SLAM2系统在RGBD图像序列构建稠密点云地图,在建图过程中使用深度卷积神经网络提取环境语义信息,然后使用基于图论的切割算法将点云地图进行切割,最后将语义信息投影到点云集簇,实现了3D稠密语义地图构建。本文在流行的公共数据集上验证了3D稠密语义地图构建算法的有效性。本文主要工作和贡...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
结合2D图像和3D点云的语义地图构建
国防科技大学研究生院硕士学位论文第12页第二章基于视觉SLAM的语义地图构建框架本章介绍了基于视觉SLAM的语义地图构建所用的相关技术，并提出了语义地图构建总体结构设计。首先梳理了ORB-SLAM的研究流程，然后列举了卷积神经网络基本原理和核心模块，最后介绍了YOLO目标检测算法的演变流程和YOLOv3算法的具体实现细节。2.1基于RGBD数据的视觉SLAM框架RGBD相机又称深度相机，可同时获取RGB图和深度图。它利用红外结构光或Time-of-Flight原理来直接得到图像中各像素离相机的距离，相比于双目相机能节省大量的计算。但RGBD相机大多用在室内场景，也存在一些诸如测量范围窄、噪声大、视野小和易受日光影响等缺陷，不太适用于室外SLAM。RGBDSLAM属于视觉SLAM的一种，基本框架（除去传感器数据读取阶段）也和视觉SLAM框架保持一致，也有前端、后端、回环检测、建图四个基本模块。图2.1SLAM模块2.1.1传感器数据读取在视觉SLAM中一般是相机图像数据的采集、读取和预处理。如果在无人车或者机器人中，还有码盘、惯性传感器等信息的读取和同步。一般而言，SLAM的研究流程从数据读取完成后开始，所以传感器信息读取阶段并不属于SLAM流程，它为正式的SLAM流程做了数据准备。2.1.2前端前端是指视觉里程计(VisualOdometry,VO)，是通过估算两张图片之间的关系，来计算相机发生的运动。视觉里程计的主要方式分为特征点法和直接法，目前基于特征点的方法占据了主流。特征点法能够在噪声较大、相机运动较快时工作，但建图较为稀疏；直接法不需要提特征，能够建立稠密地图，但也存在着计算量
国防科技大学研究生院硕士学位论文第13页大、鲁棒性不好等缺陷。求解相机位姿变化需要两个前提：特征点的检测和特征点的匹配。就特征点的检测算法来说，目前使用的特征有很多种，比较知名的有SIFT[59]、SURF[60]、FAST[61]和ORB[62]等。下图就是就是使用ORB特征进行特征点检测和匹配的结果。图2.2ORB特征点匹配在匹配好特征点后就可以得到两个一一对应的像素点集。接下来就可以根据两组匹配好的点集，计算相机的运动。最常用的相机姿态方式有估计对极几何[63]、PnP[64]和ICP[65]三种。前端是SLAM的关键问题，它估计了关键帧之间的相机运动。只要把多个相邻时刻的相机运动串联起来，就可以得到机器人的运动轨迹，从而解决了SLAM的定位问题。但是，由于前端对相机运动的每一次估计都会产生误差，同时先前时刻的误差会传递到下一时刻，导致经过了一段时间后，估计的轨迹由于“累计漂移”将不再准确，如下图所示。这就导致SLAM系统无法建立一致的地图。为了解决“漂移”的问题，需要后端优化和回环检测这两种技术。真实轨迹预估轨迹图2.3轨迹漂移
【参考文献】：
期刊论文
[1]一种融合全局及显著性区域特征的室内场景识别方法[J]. 牛杰,卜雄洙,钱堃,李众. 机器人. 2015(01)
[2]迎接第三次工业革命的关键在于发展模式的革命——我国光伏产业和机器人产业的案例研究与反思[J]. 贾根良. 经济理论与经济管理. 2013(05)
[3]未知环境下移动机器人同步地图创建与定位研究进展[J]. 王耀南,余洪山. 控制理论与应用. 2008(01)
本文编号：3608783
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
结合2D图像和3D点云的语义地图构建
国防科技大学研究生院硕士学位论文第12页第二章基于视觉SLAM的语义地图构建框架本章介绍了基于视觉SLAM的语义地图构建所用的相关技术，并提出了语义地图构建总体结构设计。首先梳理了ORB-SLAM的研究流程，然后列举了卷积神经网络基本原理和核心模块，最后介绍了YOLO目标检测算法的演变流程和YOLOv3算法的具体实现细节。2.1基于RGBD数据的视觉SLAM框架RGBD相机又称深度相机，可同时获取RGB图和深度图。它利用红外结构光或Time-of-Flight原理来直接得到图像中各像素离相机的距离，相比于双目相机能节省大量的计算。但RGBD相机大多用在室内场景，也存在一些诸如测量范围窄、噪声大、视野小和易受日光影响等缺陷，不太适用于室外SLAM。RGBDSLAM属于视觉SLAM的一种，基本框架（除去传感器数据读取阶段）也和视觉SLAM框架保持一致，也有前端、后端、回环检测、建图四个基本模块。图2.1SLAM模块2.1.1传感器数据读取在视觉SLAM中一般是相机图像数据的采集、读取和预处理。如果在无人车或者机器人中，还有码盘、惯性传感器等信息的读取和同步。一般而言，SLAM的研究流程从数据读取完成后开始，所以传感器信息读取阶段并不属于SLAM流程，它为正式的SLAM流程做了数据准备。2.1.2前端前端是指视觉里程计(VisualOdometry,VO)，是通过估算两张图片之间的关系，来计算相机发生的运动。视觉里程计的主要方式分为特征点法和直接法，目前基于特征点的方法占据了主流。特征点法能够在噪声较大、相机运动较快时工作，但建图较为稀疏；直接法不需要提特征，能够建立稠密地图，但也存在着计算量
国防科技大学研究生院硕士学位论文第13页大、鲁棒性不好等缺陷。求解相机位姿变化需要两个前提：特征点的检测和特征点的匹配。就特征点的检测算法来说，目前使用的特征有很多种，比较知名的有SIFT[59]、SURF[60]、FAST[61]和ORB[62]等。下图就是就是使用ORB特征进行特征点检测和匹配的结果。图2.2ORB特征点匹配在匹配好特征点后就可以得到两个一一对应的像素点集。接下来就可以根据两组匹配好的点集，计算相机的运动。最常用的相机姿态方式有估计对极几何[63]、PnP[64]和ICP[65]三种。前端是SLAM的关键问题，它估计了关键帧之间的相机运动。只要把多个相邻时刻的相机运动串联起来，就可以得到机器人的运动轨迹，从而解决了SLAM的定位问题。但是，由于前端对相机运动的每一次估计都会产生误差，同时先前时刻的误差会传递到下一时刻，导致经过了一段时间后，估计的轨迹由于“累计漂移”将不再准确，如下图所示。这就导致SLAM系统无法建立一致的地图。为了解决“漂移”的问题，需要后端优化和回环检测这两种技术。真实轨迹预估轨迹图2.3轨迹漂移
【参考文献】：
期刊论文
[1]一种融合全局及显著性区域特征的室内场景识别方法[J]. 牛杰,卜雄洙,钱堃,李众. 机器人. 2015(01)
[2]迎接第三次工业革命的关键在于发展模式的革命——我国光伏产业和机器人产业的案例研究与反思[J]. 贾根良. 经济理论与经济管理. 2013(05)
[3]未知环境下移动机器人同步地图创建与定位研究进展[J]. 王耀南,余洪山. 控制理论与应用. 2008(01)
本文编号：3608783
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3608783.html
