基于深度和纹理信息融合的三维物体识别和6D姿态估计研究

发布时间：2024-06-23 08:34

　　人工智能技术的成熟引领着机器人的智能化发展。机器人逐渐融入到人们的生活和工作之中,并取代了一部分人机械重复的工作。在与外界进行交互时,机器人需要利用多种设备对外界环境进行感知,如相机和三维传感器等。如何有效地利用这些设备采集得到的信息,对环境中的目标进行识别和估计其6D姿态,以协助机器人完成物体抓取任务,对于实际的工程需求十分重要。因此,本文以“基于深度和纹理信息融合的三维物体识别和6D姿态估计”为研究课题,对基于神经网络的物体识别和6D姿态估计任务进行了深入研究。主要工作内容包括以下几个部分:基于点云数据的三维物体识别;复杂背景下的物体识别以及分割;结合纹理和深度信息的物体的6D姿态估计。1、点云数据的非结构化性质导致卷积网络无法直接用于对其进行特征提取。因此,不少方法通过手工规则将点云数据映射为图片,然后使用卷积网络进行特征提取并分类。但人工制定的映射规则会导致映射过程中信息丢失。为了解决该缺点,本文利用反卷积操作,自主学习点云数据到图片的映射关系,通过数据驱动的方式建立的映射关系,会保留对后续分类任务有用的信息,以提高最后的分类精度。2、为了能够在真实复杂场景下识别和分割物体,并...

【文章页数】：81 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题研究背景及意义
    1.2 国内外研究现状
        1.2.1 三维点云物体识别方法研究现状
        1.2.2 语义分割网络研究现状
        1.2.3 6D姿态估计方法研究现状
        1.2.4 现有方法的不足
    1.3 论文主要研究工作
    1.4 论文结构安排
第2章 相关理论介绍
    2.1 卷积神经网络
        2.1.1 卷积层
        2.1.2 反卷积层
        2.1.3 池化层
        2.1.4 激活层
    2.2 点云分类网络
        2.2.1 PointNet点云分类网络
        2.2.2 用于提取点云局部结构信息的模块Set Abstraction
    2.3 语义分割网络
        2.3.1 Unet语义分割网络
        2.3.2 Pyramid Pooling Module(PPM)高效的多尺度特征提取模块
    2.4 DenseFusion姿态估计网络
    2.5 模型压缩方法
        2.5.1 MixConv轻量级卷积模块
        2.5.2 基于几何中位数的模型剪枝算法FPGM
    2.6 手眼标定
    2.7 小结
第3章 自学习映射三维点云物体识别
    3.1 自学习映射三维点云物体识别网络构建
    3.2 实验设置
    3.3 评测数据集
    3.4 结果分析
    3.5 小结
第4章 纹理和深度信息融合的语义分割网络
    4.1 纹理和深度信息融合的语义分割网络构建
    4.2 颜色特征提取主干
    4.3 深度特征提取骨干
    4.4 多尺度特征融合网络
    4.5 实验设置
    4.6 评测数据集
    4.7 结果分析
    4.8 小结
第5章 轻量级姿态估计网络的构建
    5.1 整体网络架构
    5.2 基于MixConv的高效纹理特征提取网络
    5.3 点云特征提取网络以及特征融合
    5.4 迭代优化网络
    5.5 基于FPGM进行模型剪枝
    5.6 训练过程
    5.7 评测数据集
    5.8 实验分析
    5.9 小结
第6章 轻量级姿态估计网络在机械臂抓取中的应用
    6.1 实验平台介绍
    6.2 数据集采集和构建
    6.3 实验流程
    6.4 定性分析
    6.5 小结
第7章 结论和展望
    7.1 工作总结
    7.2 研究展望
参考文献
致谢
作者简历及攻读学位期间发表的学术论文与研究成果



本文编号：3995255