面向室外环境的移动机器人自主场景理解
发布时间:2020-09-29 09:41
室外环境的场景理解是移动机器人领域的基础性问题,它为机器人的决策层提供参考依据。移动机器人室外场景理解既要解决室外场景描述问题,也要解决室外场景中的多类别景物识别问题。室外场景的描述依赖于移动机器人利用自身配备的激光、视觉、惯性导航等设备所获取的多源感知数据的有效融合。在场景样本数据分布形式的影响下,室外场景中多类别景物识别的能力取决于机器人模式识别与机器学习算法的性能。针对移动机器人多源感知数据融合问题,本文研究中采用激光测距、视觉、惯性导航三种传感器的数据级融合算法,将图像的颜色信息(RGB三通道)、激光测距的深度信息(Depth)和强度信息(Intensity)进行融合,并利用生成的RGB-DI点云数据进行三维场景描述。考虑机器人运行速度变化以及场景中动态景物等因素会造成RGB-DI点云分布的不均衡性,本文提出了基于点云平面拟合和基于点云投影变换这两种点云到图像的转换算法。这两种算法设计了不同的RGB-DI点云变换的目标函数,目的是寻找一个以最优视角的平面来表示RGB-DI点云,并通过蒙特卡洛优化算法求解可最优表示变换平面的法向量,从而使得点云在该平面上分布均衡,进而生成与RGB-DI点云对应的RGB-DI图像。针对室外场景中多类别景物识别问题,考虑到RGB-DI点云与RGB-DI图像是一一映射关系,因此将基于RGB-DI点云的多景物识别问题转化成了基于RGB-DI图像的多景物识别问题。本文基于深度学习理论提出了两种适用于RGB-DI图像的多类别景物识别模型,即FCN模型和基于CNN的全连接CRF模型。FCN模型通过使用反卷积层来完成特征图的上采样过程,并将中间的卷积层与最后的反卷积层相融合进而解决了模型训练时反向传播的残差消失问题。对于基于CNN的全连接CRF模型,CNN提取了具有强表示性的RGB-DI图像深层特征,而全连接CRF模型增加了相邻像素属性的约束项,从而使RGB-DI图像语义识别结果更具有位置相关性。最后,将RGB-DI图像的识别结果反映射于RGB-DI点云场景中从而实现了三维场景理解。对于长时间工作在室外环境中的移动机器人,长期场景理解是一个挑战性的研究问题。由于季节交替、光照变化、天气差异、场景变换等因素会对机器人的景物识别模型产生显著影响,因此随着运行时间的不断推移,识别模型的累计误差会不断增大,这将会显著降低景物识别模型的泛化性。为了提升场景理解的鲁棒性,研究中设计的景物识别系统框架需要建立在不同季节、天气等因素条件下的多样化大样本场景数据基础上。目前可获得的机器人长航时数据库通常只包含视觉数据,因此本项研究工作也只是基于视觉场景样本来开展的。针对机器人视觉场景理解的实时性问题,本文提出了基于超像素CRF模型的图像快速语义分割方法。该方法以超像素为处理单元,大幅度降低了 CRF模型预测的时间。针对机器人在长期运行中景物识别模型的低泛化性问题,本文提出了栈式稀疏自编码特征学习模型,该模型从大样本图像数据中提取每张图像的高维特征,应用Membership Kmeans高维聚类算法完成大样本图像数据的多子集划分,然后在每一个子样本数据集中训练一个超像素CRF模型,最后依据SoftMax子集选择器来完成多个超像素CRF模型的切换,进而解决了移动机器人的长期自主性问题。为了验证基于RGB-DI点云语义分割算法的有效性,本研究采用了牛津大学和大连理工大学的数据集为基础进行实验分析。通过分别与基于FPFH和点云颜色矩特征描述的随机森林这两种点云语义分割算法的实验对比,所得结果表明本文所提出的基于CNN的全连接CRF模型可有效提升针对室外场景的点云语义分割准确率。此外为了验证移动机器人长期运行时基于图像的实时语义分割算法的有效性,以卡内基梅隆大学和大连理工大学的数据集为基础。这两个数据集是不同场景等多种因素影响下的大样本视觉数据。实验结果表明,栈式稀疏自编码模型可以提取图像数据中具有强代表性的高维特征,并依据 Calinski-Harabasz 和 Davies-Bouldin 聚类评价准则对 Membership Kmeans 高维聚类算法进行了大样本数据子集划分的统计评估,进而根据该评估结果获得了在两种聚类评价下的最优子样本集划分结果。根据每个子样本集的数据分布,可有针对性的训练出超像素CRF图像语义分割模型,从而提升该模型对多样化场景的识别鲁棒性。本文所提算法对数据库中图像的语义分割时间不超过180毫秒,可满足目前实验室所使用的移动机器人平台对场景理解实时性的需求。
【学位单位】:大连理工大学
【学位级别】:博士
【学位年份】:2018
【中图分类】:TP242
【部分图文】:
性导航系统的实时数据输出,使移动机器人局部坐标系转化成全局坐标系。经过上述两逡逑部分的数据融合后,我们可以获取到具有颜色、深度以及激光强度值的多信息室外大范逡逑围场景RGB-DI点云。本文的移动机器人实验平台如图2.1所示,该实验平台是由大连逡逑理工大学智能研宄室自主研发。本文研宄用到的主要传感器,如侧向激光、单目摄像机、逡逑惯性导航系统以及工业计算机已经标记在红色框中。逡逑2.2.1二维激光与摄像机的数据级融合逡逑4邋轴逦Nn逡逑r邋y逦Zc^^xc逡逑V逦Fc逡逑^邋Yc逡逑图2.邋2摄像机模型的原理图逡逑Fig.邋2.2邋The邋schematic邋diagram邋of邋camera邋model.逡逑由于激光传感器与摄像机在移动机器人上的摆放位置相对固定,因此我们可以将两逡逑个传感器的坐标系标定在一个坐标系下。图2.2展示了摄像机的针孔模型示意图。激光逡逑与摄像机标定的实质是要找出一个旋转矩阵%*3和一个平移向量七f,使得逡逑在实际中激光点坐标乃=(X,,:^Z,f投影到摄像机坐标点巧=?,尤,。具体的变换逡逑公式如(2.1)所示。逡逑Pc=WP,+k逦(2.1)逡逑-17邋-逡逑
移动机器人坐标系的投影变换矩阵,(R2,T2)表示移动机器人坐标的投影变换矩阵,(R3,T3)表示惯性导航系统的实时变换矩阵。B)表示颜色点云,(x,y,z,Dp)和(x,y,z,In)分另[J表不含有深度值点本文采用显示点云的软件是CloudCompare。最后我们获得了多传感-DI点云。逡逑-DI图像生成逡逑动机器人运动速度的变化以及室外场景中动态目标的影响,这使得实RGB-DI点云分布不均衡,即点云中相邻点的距离大小不同,这将直特征提取方法受限从而不利于后续的点云语义分割。因此,为了减少影响,本文提出了应用投影算法,将RGB-DI点云转化成RGB-DI是由RGB-DI点云中坐标经过投影变换后生成的图像,由于该投影点云坐标而不影响点云中每个点的属性,因此坐标投影后的图像每一云中每个点的属性保持相同。这样既减少了点云分布结构的影响又确完整。逡逑
本小节采用了蒙特卡洛数值优化算法[8()]求解目标函数。该目标函数是以最大逡逑值优化为基础的,因此需要在以服从均匀分布条件下随机给出的N组可行解(久6^中搜逡逑索使目标函数值达到最大时所对应的最优解。图2.6展示蒙特卡洛算法的求解过程。逡逑_W_W逡逑mmmm逡逑■■■_逡逑■W__逡逑图2.邋6优化算法生成RGB-D丨子图逡逑Fig.邋2.6邋The邋RGB-DI邋subfigures邋generated邋by邋optimization邋algorithm.逡逑-23邋-逡逑
本文编号:2829556
【学位单位】:大连理工大学
【学位级别】:博士
【学位年份】:2018
【中图分类】:TP242
【部分图文】:
性导航系统的实时数据输出,使移动机器人局部坐标系转化成全局坐标系。经过上述两逡逑部分的数据融合后,我们可以获取到具有颜色、深度以及激光强度值的多信息室外大范逡逑围场景RGB-DI点云。本文的移动机器人实验平台如图2.1所示,该实验平台是由大连逡逑理工大学智能研宄室自主研发。本文研宄用到的主要传感器,如侧向激光、单目摄像机、逡逑惯性导航系统以及工业计算机已经标记在红色框中。逡逑2.2.1二维激光与摄像机的数据级融合逡逑4邋轴逦Nn逡逑r邋y逦Zc^^xc逡逑V逦Fc逡逑^邋Yc逡逑图2.邋2摄像机模型的原理图逡逑Fig.邋2.2邋The邋schematic邋diagram邋of邋camera邋model.逡逑由于激光传感器与摄像机在移动机器人上的摆放位置相对固定,因此我们可以将两逡逑个传感器的坐标系标定在一个坐标系下。图2.2展示了摄像机的针孔模型示意图。激光逡逑与摄像机标定的实质是要找出一个旋转矩阵%*3和一个平移向量七f,使得逡逑在实际中激光点坐标乃=(X,,:^Z,f投影到摄像机坐标点巧=?,尤,。具体的变换逡逑公式如(2.1)所示。逡逑Pc=WP,+k逦(2.1)逡逑-17邋-逡逑
移动机器人坐标系的投影变换矩阵,(R2,T2)表示移动机器人坐标的投影变换矩阵,(R3,T3)表示惯性导航系统的实时变换矩阵。B)表示颜色点云,(x,y,z,Dp)和(x,y,z,In)分另[J表不含有深度值点本文采用显示点云的软件是CloudCompare。最后我们获得了多传感-DI点云。逡逑-DI图像生成逡逑动机器人运动速度的变化以及室外场景中动态目标的影响,这使得实RGB-DI点云分布不均衡,即点云中相邻点的距离大小不同,这将直特征提取方法受限从而不利于后续的点云语义分割。因此,为了减少影响,本文提出了应用投影算法,将RGB-DI点云转化成RGB-DI是由RGB-DI点云中坐标经过投影变换后生成的图像,由于该投影点云坐标而不影响点云中每个点的属性,因此坐标投影后的图像每一云中每个点的属性保持相同。这样既减少了点云分布结构的影响又确完整。逡逑
本小节采用了蒙特卡洛数值优化算法[8()]求解目标函数。该目标函数是以最大逡逑值优化为基础的,因此需要在以服从均匀分布条件下随机给出的N组可行解(久6^中搜逡逑索使目标函数值达到最大时所对应的最优解。图2.6展示蒙特卡洛算法的求解过程。逡逑_W_W逡逑mmmm逡逑■■■_逡逑■W__逡逑图2.邋6优化算法生成RGB-D丨子图逡逑Fig.邋2.6邋The邋RGB-DI邋subfigures邋generated邋by邋optimization邋algorithm.逡逑-23邋-逡逑
【参考文献】
相关期刊论文 前5条
1 王可;贾松敏;徐涛;李秀智;;基于混合位姿估计模型的移动机器人三维地图创建方法[J];控制与决策;2015年08期
2 钱生;陈宗海;林名强;张陈斌;;基于条件随机场和图像分割的显著性检测[J];自动化学报;2015年04期
3 闫自庚;蒋建国;郭丹;;基于SURF特征和Delaunay三角网格的图像匹配[J];自动化学报;2014年06期
4 杨栋;周秀玲;郭平;;基于贝叶斯通用背景模型的图像标注[J];自动化学报;2013年10期
5 孙作雷;茅旭初;;基于激光束匹配和图模型的移动机器人相对运动估计误差分析[J];自动化学报;2011年02期
本文编号:2829556
本文链接:https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2829556.html