基于RGBD的无人机语义SLAM系统原型设计及实现
发布时间：2022-01-08 18:33
随着计算机视觉和无人机相关技术的迅速发展,构建智能无人机系统成为当前机器人研究领域的热点方向,而高效的语义SLAM（Simultaneously Localization And Mapping,即时定位与建图）是智能无人机系统实现在未知环境下进行自主定位、环境导航和智能搜索等高级任务的基础。但是现有语义SLAM的发展并不成熟,且其实现过于依赖对算力要求较高的深度学习理论,并不适用于存在一定载荷限制的多旋翼无人机。因此,本文在具有高准确性跟踪精度的RGBD-SLAM基础上,采用轻量化的目标检测模块和三维语义地图构建方法进行改进,设计基于RGBD的无人机语义SLAM原型系统,完成无人机轨迹估计的同时,构建环境三维语义地图。首先,选择RGBD相机作为无人机语义SLAM系统的唯一视觉传感器,并通过分析经典视觉SLAM的实现原理和优缺点,结合无人机应用平台,在ORBSLAM框架的基础上融合高效的目标检测算法和三维目标分割方法,进行无人机轨迹估计的同时,感知环境物体语义信息,构建三维语义地图,并基于此提出了无人机语义SLAM原型系统的方案。其次,针对目前基于深度学习的目标检...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
各行各业中的无人机应用
中，常见的视觉传感器包括单目相机，双目相机和RGBD相机。没有深度信息的单目相机虽然速度快，但是应用起来依赖的数学计算过程相对复杂；而双目相机在近处应用双目测距原理生成深度图比单目相机相对便利一点，但是无法摆脱随着距离增大，双目效果严重退化的缺点；而RGBD相机利用结构光或TOF来获取深度，省去了深度的计算过程[3]，计算量小，逐渐成为了视觉SLAM的主流传感器。传统的视觉SLAM系统用来建立未知环境空间结构和占据信息，为智能机器人实现路径规划、自主导航和避障。视觉SLAM系统可以分为前端和后端，其结构如图1-2所示。图1-2视觉SLAM结构前端完成数据关联，相当于VO（视觉里程计），估算相邻关键帧间的相机运动；后端主要对每个时刻视觉里程计的输出结果进行优化，得到最优的位姿估计和地图。语义SLAM以视觉SLAM技术为基础，将目标语义信息融入到视觉SLAM的各个环节中，前端VO部分利用语义信息代替特征点信息，简化计算流程；而后端优化部分则可以添加语义信息为新的系统观测点，进行更全面的地图点和轨迹优化；在建图环节则可以利用语义信息配合三维目标分割进行语义地图的构建，更好地指导机器人的后续路径规划和导航等功能。至今为止，视觉SLAM技术的相关发展已经较为成熟，而语义SLAM因为提出时间较短，相关研究相对比较初步，但是对于旨在实现更高难度复杂任务的机器人系统而言，语义SLAM的实现是必不可少的。依靠精准的语义SLAM，机器人系统可以自主地实现更多更复杂的人机交互任务，对于实现机器人的全面智能化具有重大的研究意义和价值。从
第二章基于RGBD的无人机语义SLAM原型系统方案9第二章基于RGBD的无人机语义SLAM原型系统方案语义SLAM是由视觉SLAM引申而来，将目标检测模块获取的环境物体语义信息融入到视觉SLAM的前端VO、重定位、后端优化、回环检测和建图环节中，并对其中一个或者多个环节进行改进，从而提高视觉SLAM系统的性能。语义SLAM的模块主要包括视觉SLAM算法、环境语义信息提娶三维目标分割和三维地图生成模块等，下面从视觉传感器的选择入手，阐述本文无人机语义SLAM系统的基础方案。2.1视觉SLAM传感器选择视觉SLAM以各式各样的视觉相机为主要传感器来获取环境中的信息。视觉传感器相较于激光传感器而言，性价比更高。至今为止，视觉SLAM系统中所用到的视觉传感器主要分为三种，分别是单目、双目和RGBD相机，不同种类的相机工作原理不同，性能也不同，所以适用的环境也不尽相同。单目相机根据小孔成像原理对环境中的视觉信息进行采集。单目相机结构简单，使用便捷，成本也最低，但是缺乏真实世界的尺度信息，并且会产生畸变，所以在使用之前常常需要事先进行标定，获取相机的内参对采集的图像进行矫正。此外，对于视觉SLAM而言，除了进行标定之外，还需要通过三角测量等方法才能获取图点的深度距离信息，从一定程度上消耗了计算平台的算力，不太适用于性能受限的嵌入式平台。图2-1单目相机带来的尺度误差双目相机从结构上类似于人类的双目视觉结构，从实现原理上消除了单目相机的尺度不确定性。双目相机可以理解为将两个单目相机按照统一的几何规则集成在了一起，其计算图像深度信息的方式与单目相机有所不同，双目相机通过两
【参考文献】：
期刊论文
[1]基于SSD算法的人脸目标检测的研究[J]. 杨璐,吴陈. 计算机技术与发展. 2019(10)
[2]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[3]基于卷积神经网络的手势识别初探[J]. 蔡娟,蔡坚勇,廖晓东,黄海涛,丁侨俊. 计算机系统应用. 2015(04)
硕士论文
[1]基于AKAZE算法的三维重建研究[D]. 夏宇.南京邮电大学 2019
[2]基于ROS与RGBD传感器的地图构建方法研究[D]. 富裕.沈阳工业大学 2019
[3]基于计算机视觉的同步定位与三维建图方法研究[D]. 李净霖.哈尔滨工业大学 2019
[4]服务机器人室内三维环境热场建模及感知技术研究[D]. 刘雨.哈尔滨工业大学 2019
[5]基于卷积神经网络的SAR图像去噪和目标检测与识别[D]. 王琪.西安电子科技大学 2019
[6]基于稠密视觉SLAM的无人机三维地图快速重建研究[D]. 彭思远.电子科技大学 2019
[7]基于视觉SLAM的语义地图研究[D]. 常思雨.哈尔滨工业大学 2018
[8]基于深度学习的短视频内容分析算法研究[D]. 李夏南.哈尔滨工业大学 2018
[9]基于单目视觉与IMU结合的SLAM技术研究[D]. 李建禹.哈尔滨工业大学 2018
[10]基于环境语义信息的SLAM算法研究与实现[D]. 魏乐麒.西安电子科技大学 2018
本文编号：3577067
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：80 页
【学位级别】：硕士
【部分图文】：
各行各业中的无人机应用
中，常见的视觉传感器包括单目相机，双目相机和RGBD相机。没有深度信息的单目相机虽然速度快，但是应用起来依赖的数学计算过程相对复杂；而双目相机在近处应用双目测距原理生成深度图比单目相机相对便利一点，但是无法摆脱随着距离增大，双目效果严重退化的缺点；而RGBD相机利用结构光或TOF来获取深度，省去了深度的计算过程[3]，计算量小，逐渐成为了视觉SLAM的主流传感器。传统的视觉SLAM系统用来建立未知环境空间结构和占据信息，为智能机器人实现路径规划、自主导航和避障。视觉SLAM系统可以分为前端和后端，其结构如图1-2所示。图1-2视觉SLAM结构前端完成数据关联，相当于VO（视觉里程计），估算相邻关键帧间的相机运动；后端主要对每个时刻视觉里程计的输出结果进行优化，得到最优的位姿估计和地图。语义SLAM以视觉SLAM技术为基础，将目标语义信息融入到视觉SLAM的各个环节中，前端VO部分利用语义信息代替特征点信息，简化计算流程；而后端优化部分则可以添加语义信息为新的系统观测点，进行更全面的地图点和轨迹优化；在建图环节则可以利用语义信息配合三维目标分割进行语义地图的构建，更好地指导机器人的后续路径规划和导航等功能。至今为止，视觉SLAM技术的相关发展已经较为成熟，而语义SLAM因为提出时间较短，相关研究相对比较初步，但是对于旨在实现更高难度复杂任务的机器人系统而言，语义SLAM的实现是必不可少的。依靠精准的语义SLAM，机器人系统可以自主地实现更多更复杂的人机交互任务，对于实现机器人的全面智能化具有重大的研究意义和价值。从
第二章基于RGBD的无人机语义SLAM原型系统方案9第二章基于RGBD的无人机语义SLAM原型系统方案语义SLAM是由视觉SLAM引申而来，将目标检测模块获取的环境物体语义信息融入到视觉SLAM的前端VO、重定位、后端优化、回环检测和建图环节中，并对其中一个或者多个环节进行改进，从而提高视觉SLAM系统的性能。语义SLAM的模块主要包括视觉SLAM算法、环境语义信息提娶三维目标分割和三维地图生成模块等，下面从视觉传感器的选择入手，阐述本文无人机语义SLAM系统的基础方案。2.1视觉SLAM传感器选择视觉SLAM以各式各样的视觉相机为主要传感器来获取环境中的信息。视觉传感器相较于激光传感器而言，性价比更高。至今为止，视觉SLAM系统中所用到的视觉传感器主要分为三种，分别是单目、双目和RGBD相机，不同种类的相机工作原理不同，性能也不同，所以适用的环境也不尽相同。单目相机根据小孔成像原理对环境中的视觉信息进行采集。单目相机结构简单，使用便捷，成本也最低，但是缺乏真实世界的尺度信息，并且会产生畸变，所以在使用之前常常需要事先进行标定，获取相机的内参对采集的图像进行矫正。此外，对于视觉SLAM而言，除了进行标定之外，还需要通过三角测量等方法才能获取图点的深度距离信息，从一定程度上消耗了计算平台的算力，不太适用于性能受限的嵌入式平台。图2-1单目相机带来的尺度误差双目相机从结构上类似于人类的双目视觉结构，从实现原理上消除了单目相机的尺度不确定性。双目相机可以理解为将两个单目相机按照统一的几何规则集成在了一起，其计算图像深度信息的方式与单目相机有所不同，双目相机通过两
【参考文献】：
期刊论文
[1]基于SSD算法的人脸目标检测的研究[J]. 杨璐,吴陈. 计算机技术与发展. 2019(10)
[2]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[3]基于卷积神经网络的手势识别初探[J]. 蔡娟,蔡坚勇,廖晓东,黄海涛,丁侨俊. 计算机系统应用. 2015(04)
硕士论文
[1]基于AKAZE算法的三维重建研究[D]. 夏宇.南京邮电大学 2019
[2]基于ROS与RGBD传感器的地图构建方法研究[D]. 富裕.沈阳工业大学 2019
[3]基于计算机视觉的同步定位与三维建图方法研究[D]. 李净霖.哈尔滨工业大学 2019
[4]服务机器人室内三维环境热场建模及感知技术研究[D]. 刘雨.哈尔滨工业大学 2019
[5]基于卷积神经网络的SAR图像去噪和目标检测与识别[D]. 王琪.西安电子科技大学 2019
[6]基于稠密视觉SLAM的无人机三维地图快速重建研究[D]. 彭思远.电子科技大学 2019
[7]基于视觉SLAM的语义地图研究[D]. 常思雨.哈尔滨工业大学 2018
[8]基于深度学习的短视频内容分析算法研究[D]. 李夏南.哈尔滨工业大学 2018
[9]基于单目视觉与IMU结合的SLAM技术研究[D]. 李建禹.哈尔滨工业大学 2018
[10]基于环境语义信息的SLAM算法研究与实现[D]. 魏乐麒.西安电子科技大学 2018
本文编号：3577067
本文链接：https://www.wllwen.com/kejilunwen/hangkongsky/3577067.html
