结合语义的室内RGB-D相机定位与重建

发布时间：2024-04-25 03:49

　　近年来,SLAM技术已经获得突飞猛进的发展,在工业机器人、AR、VR技术,以及智能车等方面都有着广大的应用前景。视觉SLAM完成了智能体对环境的几何信息的理解,但忽略了对环境语义信息的理解。由于视觉SLAM技术与图像语义分割技术是互补关系:前者关注场景的几何信息,后者关注场景语义理解。所以,本文将视觉SLAM技术与图像语义分割技术相结合,研究基于语义信息的相机定位与重建技术。由于RGB-D相机的低成本化、可以轻松构建稠密的地图来体现重构场景的完整性,且使用距离有限。因此,本文研究的是室内环境下的RGB-D相机定位与重建技术。本文的出发点在于将语义分割与经典的视觉相机定位与重建结合,并且相互辅助,从而构建更为准确的三维语义地图。首先,在视觉里程计的两张RGB图像的特征点匹配阶段,针对特征点存在许多误匹配关系问题,提出利用语义分割的结果,分类别进行特征点匹配,使得参与相机运动估计的匹配对更加精确。然后,在重投影求解相机姿态阶段,针对将错误的三维空间点映射到RGB图像中进行重投影误差优化问题,提出利用语义标签信息,缩小投影范围和减少误匹配参与优化,使得求解相机姿态更准确。其次,在局部、全局优...

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

图2-1旋转实例

华中科技大学硕士学位论文视觉里程计觉里程计计算相机运动通常在相机采集图像信息和预处理之后，此阶图像之间的相对运动。通过两帧图像之间的图像信息，粗略的估计出相后端优化的初始值。先讨论两张图像之间简单的运动关系。如图2-1所图片是在左边图向右旋转一定角度的....

图2-2漂移示意图

为某一个时刻对应的状态仅仅和前一个时刻状态有关，与其他时刻的，大多会采用扩展卡尔曼滤波（EKF）为代表的滤波器方法。在优化状态信息推导计算出下一个时刻的状态信息。如果考虑某一时刻的状的状态都有关联，这时将获得非线性优化为主体的优化方式。回环检测LAM首要任务是估计相机的运动从而....

图2-3根据构建地图的作用来分类

导航是指机器人可以在地图中进行自主路径规划，从已出安全路径，使得自身成功到达目的地的过程。在自主导航的密的地图才能知道地图中哪些路标是可以通过，哪些是不能通务。避障。与导航相似，但避障更侧重局部、动态障碍物的场景情路标无法判断前方是否有路障，并且处理路障，因而，需要稠任务。重建。....

图2-4语义驱动的相机定位与重建构建图

12图2-4语义驱动的相机定位与重建构建图：若没有启动跟踪模式（系统没有初始化），则

本文编号：3963959