室内动态场景视觉SLAM系统中的弱监督语义分割方法研究
发布时间：2021-12-10 14:00
视觉SLAM（Visual Simultaneous Localization and Mapping,VSLAM）是移动机器人领域的重要技术,使得移动机器人更具智能化。目前的视觉SLAM算法大多是基于静态环境实现的,如果场景中出现了动态物体,则会导致视觉SLAM系统不再稳定。针对室内动态场景中视觉SLAM系统不稳定的问题,本文使用弱监督语义分割与视觉SLAM系统结合的方式,通过剔除SLAM系统中的动态因素,提升视觉SLAM系统的准确性和鲁棒性,同时利用系统中的语义分割结果,生成静态的八叉树地图。本文使用ORB-SLAM2作为视觉SLAM系统的基本框架,对输入图像进行特征提取,并使用LK光流场判别动态特征点。同时将输入图像传入语义分割模块,分割出动态目标区域。然后结合LK光流检测结果与语义分割结果对动态特征点进行剔除,随后系统利用稳定的ORB特征点对移动机器人进行位姿估计,得到一个相对稳定的视觉SLAM系统。在视觉SLAM系统的语义分割部分,本文使用了弱监督语义分割方式,极大地减少了训练数据的标注成本。并且针对弱监督语义分割中,定位种子稀疏的问题,本文应用了显著性引导的自注意网络模块,...
【文章来源】：西华大学四川省
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
扫地机器人Fig.1.2Sweepingrobot
据。弱监督学习方式与全监督学习方式相比较，它的图像标注数据更容易获取，标注成本较低。弱监督学习方式在语义分割领域中扮演着重要的角色，比如Papandreou等[29]以图像级类标签结合边界框标注的方式对分割网络进行训练，Lin[30]等人使用“涂鸦线条”式标注数据作为弱监督信息进行分割网络的训练，Russakovsky[31]等人使用点标注进行分割网络的训练。Kolesnikov[32]等人提出弱监督语义分割网络SEC，该网络利用种子定位(Seed)、种子生长(Expand)以及生长约束(Constrain)三部分来完成图像的分割，SEC模型框架如图1.3所示。图1.3SEC模型框架图Fig.1.3TheframeworkofSECmodel
室内动态场景视觉SLAM系统中的弱监督语义分割方法研究82视觉SLAM与深度学习理论基础视觉SLAM是指移动机器人在未知环境下，利用自身的视觉传感器获取环境信息，估计所在的位置并构建环境地图。视觉传感器是视觉SLAM系统中非常重要的信息采集器，所以在本章节先介绍相机的相关知识，然后再详细介绍视觉SLAM各模块的基础知识，最后介绍深度学习与弱监督语义分割方面的内容。2.1相机模型2.1.1SLAM中的深度相机在视觉SLAM中，移动机器人需要通过相机获取环境信息，而在众多相机类型中，深度相机展现了它的独特优势。深度相机是近年来新兴的技术，它能够同时获取彩色图像和深度信息，可以更为准确地感知环境变化，为SLAM系统提供更为可靠的原始数据，因此，深度相机在视觉SLAM领域中应用十分广泛。(a)KinectV1(b)KinectV2图2.1Kinect相机Fig.2.1Kinectcamera深度相机按照实现原理的不同，分为红外结构光原理摄像头和飞行时间(TOF)原理摄像头。图2.1(a)所示的KinectV1[46]相机是典型的红外结构光相机，它使用红外投射器向环境中发射出红外线，红外接收器接收由物体反射回来的光线，计算图像的深度信息。图2.1(b)中的KinectV2[47]是一款经典的TOF相机，它发送的脉冲光经物体反射后返回相机，根据光束飞行时间计算相机与物体的距离。因为KineticV2在图像处理时，对光照条件要求不高，使用方法简单，所以在本文中采用了KinectV2深度相机进行实验。2.1.2针孔相机模型视觉SLAM系统利用输入图像之间的匹配关系来估计移动机器人的位姿状态。为了能更充分地描述动态环境对移动机器人位姿估计的影响，本文将从相机与图像之间的关系开始分析。由图2.2所示的针孔相机成像模型能够清晰地描述视觉SLAM系统将三维
【参考文献】：
期刊论文
[1]基于深度神经网络的图像语义分割研究综述[J]. 景庄伟,管海燕,彭代峰,于永涛. 计算机工程. 2020(10)
[2]基于语义分割的室内动态场景同步定位与语义建图[J]. 席志红,韩双全,王洪旭. 计算机应用. 2019(10)
[3]动态环境下结合语义的鲁棒视觉SLAM[J]. 王金戈,邹旭东,仇晓松,蔡浩原. 传感器与微系统. 2019(05)
[4]基于深度学习的图像语义分割方法综述[J]. 田萱,王亮,丁琪. 软件学报. 2019(02)
[5]基于视觉侧抑制特性的自动色彩均衡算法[J]. 苏俊铭,刘立龙,黄良珂. 科学技术与工程. 2019(01)
[6]动态场景下一种鲁棒的立体视觉里程计算法[J]. 张合新,徐慧,姚二亮,宋海涛,赵欣. 仪器仪表学报. 2018(09)
[7]基于VI-SLAM的四旋翼自主飞行与三维稠密重构[J]. 林辉灿,吕强,卫恒,王阳,梁冰. 光学学报. 2018(07)
[8]基于VSLAM的自主移动机器人三维同时定位与地图构建[J]. 林辉灿,吕强,王国胜,张洋,梁冰. 计算机应用. 2017(10)
[9]动态场景下基于运动物体检测的立体视觉里程计[J]. 林志林,张国良,姚二亮,徐慧. 光学学报. 2017(11)
[10]基于ORB-SLAM的室内机器人定位和三维稠密地图构建[J]. 侯荣波,魏武,黄婷,邓超锋. 计算机应用. 2017(05)
硕士论文
[1]动态环境下基于语义分割的视觉SLAM方法研究[D]. 张建波.哈尔滨工业大学 2019
[2]室内动态环境下的移动机器人视觉SLAM研究[D]. 胡万里.华中科技大学 2019
[3]基于种子生长及边界约束的弱监督图像语义分割算法研究[D]. 华梅芳.华南理工大学 2019
[4]自动色彩均衡算法的优化[D]. 刘潇.华中师范大学 2015
本文编号：3532759
【文章来源】：西华大学四川省
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
扫地机器人Fig.1.2Sweepingrobot
据。弱监督学习方式与全监督学习方式相比较，它的图像标注数据更容易获取，标注成本较低。弱监督学习方式在语义分割领域中扮演着重要的角色，比如Papandreou等[29]以图像级类标签结合边界框标注的方式对分割网络进行训练，Lin[30]等人使用“涂鸦线条”式标注数据作为弱监督信息进行分割网络的训练，Russakovsky[31]等人使用点标注进行分割网络的训练。Kolesnikov[32]等人提出弱监督语义分割网络SEC，该网络利用种子定位(Seed)、种子生长(Expand)以及生长约束(Constrain)三部分来完成图像的分割，SEC模型框架如图1.3所示。图1.3SEC模型框架图Fig.1.3TheframeworkofSECmodel
室内动态场景视觉SLAM系统中的弱监督语义分割方法研究82视觉SLAM与深度学习理论基础视觉SLAM是指移动机器人在未知环境下，利用自身的视觉传感器获取环境信息，估计所在的位置并构建环境地图。视觉传感器是视觉SLAM系统中非常重要的信息采集器，所以在本章节先介绍相机的相关知识，然后再详细介绍视觉SLAM各模块的基础知识，最后介绍深度学习与弱监督语义分割方面的内容。2.1相机模型2.1.1SLAM中的深度相机在视觉SLAM中，移动机器人需要通过相机获取环境信息，而在众多相机类型中，深度相机展现了它的独特优势。深度相机是近年来新兴的技术，它能够同时获取彩色图像和深度信息，可以更为准确地感知环境变化，为SLAM系统提供更为可靠的原始数据，因此，深度相机在视觉SLAM领域中应用十分广泛。(a)KinectV1(b)KinectV2图2.1Kinect相机Fig.2.1Kinectcamera深度相机按照实现原理的不同，分为红外结构光原理摄像头和飞行时间(TOF)原理摄像头。图2.1(a)所示的KinectV1[46]相机是典型的红外结构光相机，它使用红外投射器向环境中发射出红外线，红外接收器接收由物体反射回来的光线，计算图像的深度信息。图2.1(b)中的KinectV2[47]是一款经典的TOF相机，它发送的脉冲光经物体反射后返回相机，根据光束飞行时间计算相机与物体的距离。因为KineticV2在图像处理时，对光照条件要求不高，使用方法简单，所以在本文中采用了KinectV2深度相机进行实验。2.1.2针孔相机模型视觉SLAM系统利用输入图像之间的匹配关系来估计移动机器人的位姿状态。为了能更充分地描述动态环境对移动机器人位姿估计的影响，本文将从相机与图像之间的关系开始分析。由图2.2所示的针孔相机成像模型能够清晰地描述视觉SLAM系统将三维
【参考文献】：
期刊论文
[1]基于深度神经网络的图像语义分割研究综述[J]. 景庄伟,管海燕,彭代峰,于永涛. 计算机工程. 2020(10)
[2]基于语义分割的室内动态场景同步定位与语义建图[J]. 席志红,韩双全,王洪旭. 计算机应用. 2019(10)
[3]动态环境下结合语义的鲁棒视觉SLAM[J]. 王金戈,邹旭东,仇晓松,蔡浩原. 传感器与微系统. 2019(05)
[4]基于深度学习的图像语义分割方法综述[J]. 田萱,王亮,丁琪. 软件学报. 2019(02)
[5]基于视觉侧抑制特性的自动色彩均衡算法[J]. 苏俊铭,刘立龙,黄良珂. 科学技术与工程. 2019(01)
[6]动态场景下一种鲁棒的立体视觉里程计算法[J]. 张合新,徐慧,姚二亮,宋海涛,赵欣. 仪器仪表学报. 2018(09)
[7]基于VI-SLAM的四旋翼自主飞行与三维稠密重构[J]. 林辉灿,吕强,卫恒,王阳,梁冰. 光学学报. 2018(07)
[8]基于VSLAM的自主移动机器人三维同时定位与地图构建[J]. 林辉灿,吕强,王国胜,张洋,梁冰. 计算机应用. 2017(10)
[9]动态场景下基于运动物体检测的立体视觉里程计[J]. 林志林,张国良,姚二亮,徐慧. 光学学报. 2017(11)
[10]基于ORB-SLAM的室内机器人定位和三维稠密地图构建[J]. 侯荣波,魏武,黄婷,邓超锋. 计算机应用. 2017(05)
硕士论文
[1]动态环境下基于语义分割的视觉SLAM方法研究[D]. 张建波.哈尔滨工业大学 2019
[2]室内动态环境下的移动机器人视觉SLAM研究[D]. 胡万里.华中科技大学 2019
[3]基于种子生长及边界约束的弱监督图像语义分割算法研究[D]. 华梅芳.华南理工大学 2019
[4]自动色彩均衡算法的优化[D]. 刘潇.华中师范大学 2015
本文编号：3532759
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3532759.html
最近更新
教材专著
