基于卷积神经网络特征点的视觉SLAM方法研究

发布时间：2023-05-07 07:01

　　相机在未知的环境中运动,自主地确定自身位置和构建空间地图,是基于视觉的即时定位和建图(Simultaneous Localization And Mapping,SLAM)要解决的主要问题。在视觉SLAM前端,特征点法是目前的主流方法之一,其存在匹配效率不高、匹配效果不好以及受图像质量影响较大的问题。深度学习在视觉领域的发展一骑绝尘,但视觉SLAM存在大量的代数优化问题,很难用深度学习方法设计出效果出众的端到端SLAM模型。本文避开端到端SLAM,利用深度学习方法去解决视觉SLAM中的特征点检测问题,这也是深度学习方法的优势。本文训练了一个基于卷积神经网络的特征检测器,进一步利用该特征检测器构建了单目视觉SLAM系统,并加入相关优化算法,主要研究内容如下:(1)针对传统手工设计的特征点提取与匹配易受光照、视角、噪声、图像模糊等因素的影响,本文采用深度学习的方法解决特征点检测问题。将传统的关键点特征进行融合,并针对性地加入鲁棒性优化,解决无数据集的问题;使用MobileNet轻量化技巧改进的VGG样式的全卷积神经网络作为编码器,分别使用两个并行的解码器检测关键点和计算描述子,采用双网络架...

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题研究的背景和意义
        1.1.1 课题介绍与研究背景
        1.1.2 课题研究意义
    1.2 国内外研究现状
        1.2.1 特征检测器
        1.2.2 开源视觉SLAM方案
    1.3 本文的主要研究内容及创新点
        1.3.1 主要研究内容
        1.3.2 创新点
    1.4 论文结构安排
    1.5 本章小结
第2章 视觉SLAM及深度学习相关研究
    2.1 SLAM问题的数学表述
    2.2 视觉SLAM类型简述
    2.3 位姿估计
        2.3.1 特征点的提取与匹配
        2.3.2 对极几何
        2.3.3 三角化
        2.3.4 PnP求解运动
    2.4 捆集约束
    2.5 闭环检测
        2.5.1 闭环检测的作用
        2.5.2 词袋模型
    2.6 深度学习方法在视觉SLAM中的应用
        2.6.1 卷积神经网络概述
        2.6.2 网络模型选择
        2.6.3 训练中的损失函数
    2.7 本章小结
第3章 基于传统特征融合与轻量化CNN的特征检测器
    3.1 总体框架
    3.2 传统特征融合
        3.2.1 特征提取
        3.2.2 筛选与融合
    3.3 鲁棒性调整
        3.3.1 模糊与噪声
        3.3.2 光度变换
    3.4 网络架构
        3.4.1 轻量化改进的编码器
        3.4.2 关键点解码器
        3.4.3 描述子解码器
    3.5 损失函数
    3.6 实验细节
        3.6.1 实验环境
        3.6.2 训练过程与测试
        3.6.3 MVP特征检测器评价指标
        3.6.4 结果对比与分析
        3.6.5 特征点检测与匹配可视化
    3.7 本章小结
第4章 基于MVP特征检测器的单目SLAM算法优化
    4.1 总体框架
    4.2 基于MVP特征检测器的视觉里程计
        4.2.1 关键点的四叉树均匀化策略
        4.2.2 描述子二进制化
        4.2.3 双向最邻近匹配
        4.2.4 视觉里程计实现
    4.3 基于MVP特征检测器的闭环检测
        4.3.1 字典训练
        4.3.2 K叉树表征字典
        4.3.3 图像相似度计算
    4.4 实验细节
        4.4.1 实验环境
        4.4.2 实验设计
        4.4.3 VO及 SLAM的评价指标
        4.4.4 结果对比与分析
    4.5 本章小结
第5章 论文总结与展望
    5.1 论文总结
    5.2 论文展望
参考文献
致谢
附录 攻读硕士学位期间研究成果



本文编号：3810515