室内服务机器人热场地图构建与目标检测技术研究
发布时间：2020-12-19 09:05
随着生活水平的提高,人们对于服务机器人更加智能化的需求也越来越高,然而现如今服务机器人的智能化还远不能满足人们的期待。同时定位与建图技术（SLAM）是服务机器人在室内环境运行的基础,目前已经取得了很大进展,但服务机器人对环境感知和理解的能力远远无法满足其长期稳定运行和对环境进行安全监测的需求,比如对环境中温度的感知、物体的理解以及动态环境下的建图等。因此,本文将RGB-D相机与热红外相机相结合,用于智能服务机器人在动态环境下的热场地图构建与目标检测技术的研究,以提高机器人对环境的理解能力,具体内容如下:针对动态场景下的行人进行检测分割,以去除动态特征点,减小其对动态场景建图的影响。本文基于热红外相机与Kinect传感器,对比基于卷积神经网络端到端的行人分割算法,提出基于卷积神经网络与温度信息融合二维检测与三维空间映射结合的行人分割算法,对RGB图像和热红外相机获得的图像分别进行行人的二维包围框检测,然后结合温度信息初步分割行人,接着将初步分割结果映射到三维空间,采用点云滤波等算法,去除离群点,最终实现了行人的精确分割。结合提出的行人分割算法,以ORB-SLAM2算法为基础,对室内动态环...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
全连接
哈尔滨工业大学工学硕士学位论文-2-我定位。已知地图后机器人能够实现自主导航，但对于服务机器人来说，还要识别房间内物体，以便实现更多服务功能。本课题在三维地图构建的基础上，要提高其在动态场景下建图的稳定性和鲁棒性，同时将温度信息和物体级语义信息加入到地图中，这样机器人才会真正理解周围环境。为此首先需要调研三个方面的国内外研究现状：（1）语义分割；（2）三维热场地图构建；（3）三维物体识别。1.3.1语义分割从2012年以来，卷积神经网络极大地提高了图像分类的精度，同样在语义分割方面也有很广泛的应用。2015年，Long[3]提出了全卷积神经网络，将分类网改写为用于分割的像素点分类网，将最后一层的全连接层改写为卷积层，并使用反卷积完成上采样的过程，第一次实现了端到端的语义分割，如图1-1所示。同年的SegNet[4]，引入了用于语义分割的编译码网络结构的概念。该网络的编码器是一种预先训练好的VGG16架构，解码器用于逐级对编码器的输出进行上采样，其网络结构如图1-2所示。SegNet实现当年最高的精度，同时获得了相对较快的速度。(a)全连接层转化为卷积层(b)使用反卷积完成上采样图1-1全连接卷积神经网络[3]图1-2SegNet语义分割网络架构[4]在多模态信息融合的语义分割方面，Gupta等人[5]在前人工作基础上，对RGB-D数据进行更加深层次的挖掘，对数据进行分割以及语义标签的标识。作者利用MCG模型对检测区域产生候选区域，然后改造已有的卷积神经网络，使其能够适用于RGB-D数据，希望从深度数据中提取出类似与灰度图像一样丰富的信息，其算法思路如图1-3所示。
哈尔滨工业大学工学硕士学位论文-3-图1-3彩色图和深度图融合的语义分割和物体检测[5]2016年出现的FuseNet[6]是一种基于RGB-D图像的语义分割网络，如图1-4所示，在网络的前端分别提取RGB图像和深度图像的特征，采用稀疏融合的方式将深度网络的部分特征融合到RGB网络中。作者选择从浅层开始对特征进行融合并且通过实验证明浅层的特征融合对性能有很大的提升。同年，WangJinghua[7]等人提出，简单地将深度图作为第四通道，只能学到彩色图与深度图浅层的相关性，同时会引入深度图中的噪声。而对RGB图像和深度图训练两个独立的网络模型，然后通过决策分数融合将它们简单地组合在一起，忽视了两种模态的内在相关性。因此该文章采用特征转换网络，如图1-5所示，包含共同特征模块和特定特征模块，来描述两种图像的相同特征与不同特征。这种网络模块将两种图像的优点融合在一起，并互相弥补，增强了网络的学习表达能力和鲁棒性。图1-4FuseNet语义分割网络架构[6]图1-5通过公共特征和模态特定特征融合的语义分割网络架构[7]
本文编号：2925634
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
全连接
哈尔滨工业大学工学硕士学位论文-2-我定位。已知地图后机器人能够实现自主导航，但对于服务机器人来说，还要识别房间内物体，以便实现更多服务功能。本课题在三维地图构建的基础上，要提高其在动态场景下建图的稳定性和鲁棒性，同时将温度信息和物体级语义信息加入到地图中，这样机器人才会真正理解周围环境。为此首先需要调研三个方面的国内外研究现状：（1）语义分割；（2）三维热场地图构建；（3）三维物体识别。1.3.1语义分割从2012年以来，卷积神经网络极大地提高了图像分类的精度，同样在语义分割方面也有很广泛的应用。2015年，Long[3]提出了全卷积神经网络，将分类网改写为用于分割的像素点分类网，将最后一层的全连接层改写为卷积层，并使用反卷积完成上采样的过程，第一次实现了端到端的语义分割，如图1-1所示。同年的SegNet[4]，引入了用于语义分割的编译码网络结构的概念。该网络的编码器是一种预先训练好的VGG16架构，解码器用于逐级对编码器的输出进行上采样，其网络结构如图1-2所示。SegNet实现当年最高的精度，同时获得了相对较快的速度。(a)全连接层转化为卷积层(b)使用反卷积完成上采样图1-1全连接卷积神经网络[3]图1-2SegNet语义分割网络架构[4]在多模态信息融合的语义分割方面，Gupta等人[5]在前人工作基础上，对RGB-D数据进行更加深层次的挖掘，对数据进行分割以及语义标签的标识。作者利用MCG模型对检测区域产生候选区域，然后改造已有的卷积神经网络，使其能够适用于RGB-D数据，希望从深度数据中提取出类似与灰度图像一样丰富的信息，其算法思路如图1-3所示。
哈尔滨工业大学工学硕士学位论文-3-图1-3彩色图和深度图融合的语义分割和物体检测[5]2016年出现的FuseNet[6]是一种基于RGB-D图像的语义分割网络，如图1-4所示，在网络的前端分别提取RGB图像和深度图像的特征，采用稀疏融合的方式将深度网络的部分特征融合到RGB网络中。作者选择从浅层开始对特征进行融合并且通过实验证明浅层的特征融合对性能有很大的提升。同年，WangJinghua[7]等人提出，简单地将深度图作为第四通道，只能学到彩色图与深度图浅层的相关性，同时会引入深度图中的噪声。而对RGB图像和深度图训练两个独立的网络模型，然后通过决策分数融合将它们简单地组合在一起，忽视了两种模态的内在相关性。因此该文章采用特征转换网络，如图1-5所示，包含共同特征模块和特定特征模块，来描述两种图像的相同特征与不同特征。这种网络模块将两种图像的优点融合在一起，并互相弥补，增强了网络的学习表达能力和鲁棒性。图1-4FuseNet语义分割网络架构[6]图1-5通过公共特征和模态特定特征融合的语义分割网络架构[7]
本文编号：2925634
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2925634.html
