面向增强现实的实时三维物体检测与追踪系统

发布时间：2023-01-30 08:12

　　三维物体检测与追踪,指的是针对指定的一个或者多个三维物体,在一个连续的图像序列中进行这些物体的目标检测与姿态求解。基于三维物体的检测与追踪获得的结果,可以为增强现实中虚实物体的交互提供信息,为机器人的抓取的任务规划提供依据,为车辆之间的定位提供参考,因此三维物体检测与追踪在增强现实、机器人、自动驾驶领域有非常重要的应用价值。三维物体检测与追踪本质上是对现实世界中存在的物体进行感知。该感知分为两个层面,第一个层面是兴趣物体是否存在于环境中,以及在环境中的具体位置,由识别与检测算法实现;第二个层面是该物体的在连续的时间域中的姿态变化,由跟踪算法实现。目前,三维物体检测与追踪在业界还处于发展阶段,相比成熟的二维物体检测与追踪,有很多需要解决的关键问题,比如三维物体本身的多样性和复杂性使得检测和跟踪容易失败,检测与追踪算法涉及大量的参数使得算法效率较低。本文深入研究了当前学术界对三维物体检测与追踪的各种尝试,然后基于神经网络相关知识,结合SLAM系统,提出了一套可行而高效的三维物体检测与追踪系统。本文的主要贡献如下:1)因为三维物体本身的复杂性以及计算时涉及到的大量姿态参数,目前主流的一些方法... 

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景
    1.2 三维物体的模型分类
        1.2.1 三维物体的CAD模型
        1.2.2 三维物体的点云模型
        1.2.3 三维物体在多种视点下的2D图像特征
        1.2.4 三维物体的平面组件
        1.2.5 不同的模型适用的检测与跟踪方法
    1.3 三维物体的检测
        1.3.1 基于特征的方法
        1.3.2 基于模版匹配的方法
        1.3.3 基于神经网络的端到端的方法
        1.3.4 基于模型组件的方法
        1.3.5 基于霍夫森林的方法
        1.3.6 其他方法
    1.4 三维物体的跟踪
        1.4.1 基于模型的方法
        1.4.2 基于特征的方法
        1.4.3 基于神经网络的方法
        1.4.4 基于SLAM的方法
        1.4.5 其他方法
    1.5 本文的主要研究内容及贡献
    1.6 本章小结
第2章 基于神经网络的三维物体检测
    2.1 三维旋转与李代数
    2.2 模型框架
        2.2.1 YOLOv3网络模型
        2.2.2 MobileNet
        2.2.3 本文的三维物体检测网络模型
    2.3 网络的训练
        2.3.1 网络的损失函数
        2.3.2 预训练的三维包围盒大小
        2.3.3 预训练的数据处理
        2.3.4 位姿估计方法
    2.4 运行与对比
        2.4.1 算法运行环境与度量标准
        2.4.2 算法运行结果
    2.5 真实感渲染获得数据
    2.6 本章小结
第3章 基于边缘的三维物体位姿优化
    3.1 Canny边缘检测算法
    3.2 距离场变化
    3.3 基于边缘的三维物体位姿优化
    3.4 结果对比
    3.5 本章小结
第4章 基于三维物体检测和跟踪的增强现实
    4.1 SLAM的初始化
        4.1.1 基于滑动窗口的视觉SfM
        4.1.2 IMU的预积分
        4.1.3 视觉-惯性融合
    4.2 三维物体的注册
    4.3 与经典三维物体跟踪算法的对比
    4.4 增强现实效果展示
    4.5 本章小结
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
致谢



本文编号：3732877