面向室外环境的移动机器人自主场景理解

发布时间：2020-09-29 09:41

　　室外环境的场景理解是移动机器人领域的基础性问题,它为机器人的决策层提供参考依据。移动机器人室外场景理解既要解决室外场景描述问题,也要解决室外场景中的多类别景物识别问题。室外场景的描述依赖于移动机器人利用自身配备的激光、视觉、惯性导航等设备所获取的多源感知数据的有效融合。在场景样本数据分布形式的影响下,室外场景中多类别景物识别的能力取决于机器人模式识别与机器学习算法的性能。针对移动机器人多源感知数据融合问题,本文研究中采用激光测距、视觉、惯性导航三种传感器的数据级融合算法,将图像的颜色信息(RGB三通道)、激光测距的深度信息(Depth)和强度信息(Intensity)进行融合,并利用生成的RGB-DI点云数据进行三维场景描述。考虑机器人运行速度变化以及场景中动态景物等因素会造成RGB-DI点云分布的不均衡性,本文提出了基于点云平面拟合和基于点云投影变换这两种点云到图像的转换算法。这两种算法设计了不同的RGB-DI点云变换的目标函数,目的是寻找一个以最优视角的平面来表示RGB-DI点云,并通过蒙特卡洛优化算法求解可最优表示变换平面的法向量,从而使得点云在该平面上分布均衡,进而生成与RGB-DI点云对应的RGB-DI图像。针对室外场景中多类别景物识别问题,考虑到RGB-DI点云与RGB-DI图像是一一映射关系,因此将基于RGB-DI点云的多景物识别问题转化成了基于RGB-DI图像的多景物识别问题。本文基于深度学习理论提出了两种适用于RGB-DI图像的多类别景物识别模型,即FCN模型和基于CNN的全连接CRF模型。FCN模型通过使用反卷积层来完成特征图的上采样过程,并将中间的卷积层与最后的反卷积层相融合进而解决了模型训练时反向传播的残差消失问题。对于基于CNN的全连接CRF模型,CNN提取了具有强表示性的RGB-DI图像深层特征,而全连接CRF模型增加了相邻像素属性的约束项,从而使RGB-DI图像语义识别结果更具有位置相关性。最后,将RGB-DI图像的识别结果反映射于RGB-DI点云场景中从而实现了三维场景理解。对于长时间工作在室外环境中的移动机器人,长期场景理解是一个挑战性的研究问题。由于季节交替、光照变化、天气差异、场景变换等因素会对机器人的景物识别模型产生显著影响,因此随着运行时间的不断推移,识别模型的累计误差会不断增大,这将会显著降低景物识别模型的泛化性。为了提升场景理解的鲁棒性,研究中设计的景物识别系统框架需要建立在不同季节、天气等因素条件下的多样化大样本场景数据基础上。目前可获得的机器人长航时数据库通常只包含视觉数据,因此本项研究工作也只是基于视觉场景样本来开展的。针对机器人视觉场景理解的实时性问题,本文提出了基于超像素CRF模型的图像快速语义分割方法。该方法以超像素为处理单元,大幅度降低了 CRF模型预测的时间。针对机器人在长期运行中景物识别模型的低泛化性问题,本文提出了栈式稀疏自编码特征学习模型,该模型从大样本图像数据中提取每张图像的高维特征,应用Membership Kmeans高维聚类算法完成大样本图像数据的多子集划分,然后在每一个子样本数据集中训练一个超像素CRF模型,最后依据SoftMax子集选择器来完成多个超像素CRF模型的切换,进而解决了移动机器人的长期自主性问题。为了验证基于RGB-DI点云语义分割算法的有效性,本研究采用了牛津大学和大连理工大学的数据集为基础进行实验分析。通过分别与基于FPFH和点云颜色矩特征描述的随机森林这两种点云语义分割算法的实验对比,所得结果表明本文所提出的基于CNN的全连接CRF模型可有效提升针对室外场景的点云语义分割准确率。此外为了验证移动机器人长期运行时基于图像的实时语义分割算法的有效性,以卡内基梅隆大学和大连理工大学的数据集为基础。这两个数据集是不同场景等多种因素影响下的大样本视觉数据。实验结果表明,栈式稀疏自编码模型可以提取图像数据中具有强代表性的高维特征,并依据 Calinski-Harabasz 和 Davies-Bouldin 聚类评价准则对 Membership Kmeans 高维聚类算法进行了大样本数据子集划分的统计评估,进而根据该评估结果获得了在两种聚类评价下的最优子样本集划分结果。根据每个子样本集的数据分布,可有针对性的训练出超像素CRF图像语义分割模型,从而提升该模型对多样化场景的识别鲁棒性。本文所提算法对数据库中图像的语义分割时间不超过180毫秒,可满足目前实验室所使用的移动机器人平台对场景理解实时性的需求。
【学位单位】：大连理工大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TP242
【部分图文】：

原理图,摄像机模型,原理图

性导航系统的实时数据输出，使移动机器人局部坐标系转化成全局坐标系。经过上述两逡逑部分的数据融合后，我们可以获取到具有颜色、深度以及激光强度值的多信息室外大范逡逑围场景ＲＧＢ－ＤＩ点云。本文的移动机器人实验平台如图２．１所示，该实验平台是由大连逡逑理工大学智能研宄室自主研发。本文研宄用到的主要传感器，如侧向激光、单目摄像机、逡逑惯性导航系统以及工业计算机已经标记在红色框中。逡逑２．２．１二维激光与摄像机的数据级融合逡逑４邋轴逦Ｎｎ逡逑ｒ邋ｙ逦Ｚｃ＾＾ｘｃ逡逑Ｖ逦Ｆｃ逡逑＾邋Ｙｃ逡逑图２．邋２摄像机模型的原理图逡逑Ｆｉｇ．邋２．２邋Ｔｈｅ邋ｓｃｈｅｍａｔｉｃ邋ｄｉａｇｒａｍ邋ｏｆ邋ｃａｍｅｒａ邋ｍｏｄｅｌ．逡逑由于激光传感器与摄像机在移动机器人上的摆放位置相对固定，因此我们可以将两逡逑个传感器的坐标系标定在一个坐标系下。图２．２展示了摄像机的针孔模型示意图。激光逡逑与摄像机标定的实质是要找出一个旋转矩阵％＊３和一个平移向量七ｆ，使得逡逑在实际中激光点坐标乃＝（Ｘ，，：＾Ｚ，ｆ投影到摄像机坐标点巧＝？，尤，。具体的变换逡逑公式如（２．１）所示。逡逑Ｐｃ＝ＷＰ，＋ｋ逦（２．１）逡逑－１７邋－逡逑

示意图,场景,点云,示意图

移动机器人坐标系的投影变换矩阵，（Ｒ２，Ｔ２）表示移动机器人坐标的投影变换矩阵，（Ｒ３，Ｔ３）表示惯性导航系统的实时变换矩阵。Ｂ）表示颜色点云，（ｘ，ｙ，ｚ，Ｄｐ）和（ｘ，ｙ，ｚ，Ｉｎ）分另［Ｊ表不含有深度值点本文采用显示点云的软件是ＣｌｏｕｄＣｏｍｐａｒｅ。最后我们获得了多传感－ＤＩ点云。逡逑－ＤＩ图像生成逡逑动机器人运动速度的变化以及室外场景中动态目标的影响，这使得实ＲＧＢ－ＤＩ点云分布不均衡，即点云中相邻点的距离大小不同，这将直特征提取方法受限从而不利于后续的点云语义分割。因此，为了减少影响，本文提出了应用投影算法，将ＲＧＢ－ＤＩ点云转化成ＲＧＢ－ＤＩ是由ＲＧＢ－ＤＩ点云中坐标经过投影变换后生成的图像，由于该投影点云坐标而不影响点云中每个点的属性，因此坐标投影后的图像每一云中每个点的属性保持相同。这样既减少了点云分布结构的影响又确完整。逡逑

均匀分布,优化算法,目标函数,数值优化算法

本小节采用了蒙特卡洛数值优化算法［８（）］求解目标函数。该目标函数是以最大逡逑值优化为基础的，因此需要在以服从均匀分布条件下随机给出的Ｎ组可行解（久６＾中搜逡逑索使目标函数值达到最大时所对应的最优解。图２．６展示蒙特卡洛算法的求解过程。逡逑＿W＿W逡逑ｍｍｍｍ逡逑■■■＿逡逑■W＿＿逡逑图２．邋６优化算法生成ＲＧＢ－Ｄ丨子图逡逑Ｆｉｇ．邋２．６邋Ｔｈｅ邋ＲＧＢ－ＤＩ邋ｓｕｂｆｉｇｕｒｅｓ邋ｇｅｎｅｒａｔｅｄ邋ｂｙ邋ｏｐｔｉｍｉｚａｔｉｏｎ邋ａｌｇｏｒｉｔｈｍ．逡逑－２３邋－逡逑

【参考文献】