移动机器人环境识别与语义理解

发布时间：2021-07-04 04:58

　　环境感知是自主移动机器人研究的关键技术。随着机器人智能化需求的不断提高,环境感知也在语义信息上开展了多方面的研究,包括物体识别、环境属性解析以及端对端的控制语义等。近年来,深度学习的发展进一步推动了感知性能的提升,语义感知不论在算法准确度上还是建模方法上都取得了丰硕的研究成果。然而,现有的成果大多基于封闭的实验条件。考虑到机器人实际运行场景的开放性和复杂性,环境感知仍面临着感知维度提升、分类类别繁多以及先验数据样本有限等多方面的挑战,阻碍了移动机器人技术的广泛应用。本文在这一背景下,针对移动机器人环境识别和语义理解两方面开展具体研究,取得了以下四个创新性研究成果:（1）针对三维物体检测运算量大、搜索空间复杂度高的问题,提出了基于RGBD传感器的多模态信息融合一阶段三维物体检测模型。该模型通过在二维平面上分层融合RGB图像和深度图像中互补的外观特征和几何特征来对三维空间进行建模,实现了不同模态信息的高度融合。继而在不同感受野的特征层上进行包围框回归来解决图像投影的尺度问题。通过二维备选框搜索、三维匹配的方式,显著提高了运算效率,在SUNRGBD和NYUv2 RGBD数据集上实现了端对端的... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：130 页

【学位级别】：博士

【部分图文】：

图２．１?２Ｄ－ＳＳＤ网络结构图??

Ｗｍ?？?？?？?？?Ｃｍ?，＂．??ｗ—ｔ?ｔ—ｉ?．．?？－Ｈ?ｏ—？?．?．?ｔ—＾?Ｔ－Ｈ?？—＜?．?ｊ?＊－Ｈ?ｔ—？?，?．?？—＜?？—？?ｔ－Ｈ??Ｉ?？□＇?ｌＩＳｌ?？?ｉＱｌｌｌＱＩＩＩ?〇??＊－？?？－ｈ?ｒａ?？—＜?？－ｈ?ｒａ?ｒ—ｉ?ｔ－ｈ?ｒａ?？—？?ｉ－ｈ?ｒａ?？？—？?？－＜?（ａ??｜Ｊ［ＪＪ?［１Ｊ［｜ＪＬ｜Ｊ?ＬｉＪｉｌＪｉｉＪ?Ｌ＾ｉｌｊｉＵＨｕＵＬ??图２．２?ＶＧＧ１６网络结构图??２．２．２多尺度分层回归??二维图像感知由于小孔成像原理而缺少物体的真实尺度信息。当相机距离物体较近时，??物体在图像平面的成像面积较大，反之则较校因而基于图像平面的物体检测，需要学习??和提取同一物体不同视觉大小下的特征，并给出一致的预测结果。在ＳＳＤ中，考虑到了每??一层的特征来自于相同序列的卷积运算，因而感受野（ｒｅｃｅｐｔｉｖｅ?ｆｉｅｌｄ）是相同的，即对应着??原始图像上相同大小的区域，而不同的特征层则对应着不同大小的图像区域。因而可以通??过在多个特征层上的遍历预测和回归，来同时实现一阶段和多尺度的物体检测。??多尺度分层回归的具体结构如图２．３所示。ＳＳＤ将３ｘ３卷积核作用在６个预测回归层??上，每一层的每个位置所对应的原始图片大小都可能为一个目标物体。然后在每个位置上??设置６个先验的物体备选框大小，对于特征层为ｍｘｒｉ的大小，则有ｍｘｎｘ６个备选框??用于检测每一个目标类别。最后将每层得到的结果在重叠区域通过非极大值抑制来得到最??终检测结果。??３０＾３００，３?Ｍ？３８？６１２?＾１

Ｗｍ?？?？?？?？?Ｃｍ?，＂．??ｗ—ｔ?ｔ—ｉ?．．?？－Ｈ?ｏ—？?．?．?ｔ—＾?Ｔ－Ｈ?？—＜?．?ｊ?＊－Ｈ?ｔ—？?，?．?？—＜?？—？?ｔ－Ｈ??Ｉ?？□＇?ｌＩＳｌ?？?ｉＱｌｌｌＱＩＩＩ?〇??＊－？?？－ｈ?ｒａ?？—＜?？－ｈ?ｒａ?ｒ—ｉ?ｔ－ｈ?ｒａ?？—？?ｉ－ｈ?ｒａ?？？—？?？－＜?（ａ??｜Ｊ［ＪＪ?［１Ｊ［｜ＪＬ｜Ｊ?ＬｉＪｉｌＪｉｉＪ?Ｌ＾ｉｌｊｉＵＨｕＵＬ??图２．２?ＶＧＧ１６网络结构图??２．２．２多尺度分层回归??二维图像感知由于小孔成像原理而缺少物体的真实尺度信息。当相机距离物体较近时，??物体在图像平面的成像面积较大，反之则较校因而基于图像平面的物体检测，需要学习??和提取同一物体不同视觉大小下的特征，并给出一致的预测结果。在ＳＳＤ中，考虑到了每??一层的特征来自于相同序列的卷积运算，因而感受野（ｒｅｃｅｐｔｉｖｅ?ｆｉｅｌｄ）是相同的，即对应着??原始图像上相同大小的区域，而不同的特征层则对应着不同大小的图像区域。因而可以通??过在多个特征层上的遍历预测和回归，来同时实现一阶段和多尺度的物体检测。??多尺度分层回归的具体结构如图２．３所示。ＳＳＤ将３ｘ３卷积核作用在６个预测回归层??上，每一层的每个位置所对应的原始图片大小都可能为一个目标物体。然后在每个位置上??设置６个先验的物体备选框大小，对于特征层为ｍｘｒｉ的大小，则有ｍｘｎｘ６个备选框??用于检测每一个目标类别。最后将每层得到的结果在重叠区域通过非极大值抑制来得到最??终检测结果。??３０＾３００，３?Ｍ？３８？６１２?＾１


本文编号：3264087