基于深度学习的室内三维语义地图构建研究
发布时间：2021-11-21 18:19
自主行驶移动平台又称无人平台,是地面移动机器人的一种形式。即时定位与地图构建（Simultaneous Localization and Mapping,SLAM）可以使移动机器人等无人平台进行自身定位同时对周围环境进行地图构建。将语义信息与SLAM结合,不仅可以提高定位与建图精度,还可以使其对周边环境进行认知和理解。本文针对实际需要和新的挑战提出了对卷积神经网络优化后的全卷积神经网络与三维视觉SLAM相结合用以构建三维语义地图的方法。本文完成了图像语义分割与SLAM技术相结合来构建环境的三维语义地图的任务。首先,使用深度相机Kinect2获得目标RGB-D信息,通过Elasitc Fusion算法完成三维视觉SLAM,并构建三维RGB-D地图,同时结合全卷积神经网络（FCN）进行语义分割,并构建三维语义地图。对于FCN部分,提出了一种通过跳跃层来结合不同特征层结构的全卷积神经网络,这种全卷积网络学习将粗糙、高层次的信息与清晰、低层次的信息结合起来,只显示池化层和预测层,省略了中间的卷积层,可以同时保留粗糙、高层次的语义信息和清晰、低层次的语义信息,用以提高语义分割精度。对FCN与El...
【文章来源】：长春理工大学吉林省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
FAST特征点检测示意图
第2章视觉SLAM算法15图2.2ElasticFusion算法流程图2.4.2ICP算法迭代最近点，即IterativeClosestPoint,简称ICP。ICP算法作为ElasticFusion中求解相机位姿的一步，是十分重要的。且由于点云数据的独特的存储结构，使得可以用较小的存储成本获得准确的拓扑结构和几何结构，因而ICP的应用越来越广泛，下面将具体介绍ICP算法的基本原理和步骤。ICP算法的基本原理是：分别在待匹配的目标点云P和源点云Q中，按照某种约束条件，找到最邻近点(,)iipq，然后计算出最优匹配参数旋转矩阵R和平移向量t，使得误差函数最校误差函数如式2-21所示。()()211,==+niiiERtqRptn（2-21）式中，n为最临近点对的个数，ip为目标点云P中的一点，iq为源点云Q中与ip对应的最近点[31]。ICP算法步骤：1）搜索最近点，从待配准点云P中取一点ip，在源点云Q中找出距离ip最近的点iq，则(,)iipq构成一组对应点集，由于ip和iq要通过某种旋转平移来进行匹配，从
第2章视觉SLAM算法16而得到一种旋转平移的关系，即(R,t)，而(R,t)为待优化目标。2）对(R,t)进行求解，由于(,)iipq的个数为n，对应了n个方程组，故而该方程一定可解，但由于要得到精确的变换关系，采用了迭代算法。3）通过步骤2求解得到的(R,t)应用在点集P中的所有点上，从而获得新的点集P′，定义一个函数d，11==′niiidpqn，根据精度要求，判断d是否小于给定阈值，如果小于给定阈值则停止迭代，如果不小于给定阈值则返回第二步。4）判断迭代次数是否达到给定上限，如果达到上限则停止迭代[32]。ICP算法流程图如图2.3所示。图2.3ICP算法流程图2.4.3融合预测的跟踪1）几何位姿估计当前帧的深度图像ltD和上一帧预测的模型深度图像1atD之间存在一个参数ξ，该参数可以通过使三维反投影顶点之间的点到平面误差最小来得到，如式2-22所示[33]。(()))2=expξkkkicptkEvTvn（2-22）式中，ktv是当前帧深度图像ltD中的t时刻的第k个顶点的反投影，即表示在相机坐标系下的空间位置，kv和kn是在t-1时刻优化后得到的与ktv相对应的顶点和法线。T是从上一时刻的相机位姿到当前时刻的相机位姿的转换的估计。()expξ是将李代数se3的一个成员映射到对应的李群SE3的一个矩阵指数[34,35]。而对于顶点，则用投影数据进行数据的相互关联。该公式主要给出了如何利用深度图像来进行对相机位姿变
【参考文献】：
期刊论文
[1]基于多源融合FCN的图像分割[J]. 冯家文,张立民,邓向阳. 计算机应用研究. 2018(09)
[2]无人驾驶汽车环境感知技术综述[J]. 王世峰,戴祥,徐宁,张鹏飞. 长春理工大学学报(自然科学版). 2017(01)
[3]单目视觉同步定位与地图创建方法综述[J]. 顾照鹏,刘宏. 智能系统学报. 2015(04)
[4]自主移动机器人室内定位方法研究综述[J]. 高云峰,周伦,吕明睿,刘文涛. 传感器与微系统. 2013(12)
博士论文
[1]基于不变特征提取及匹配技术的螺旋对称性检测问题研究[D]. 王建东.天津大学 2014
硕士论文
[1]基于SLAM技术的移动机器人定位关键技术研究[D]. 杨建松.东华理工大学 2019
[2]基于RGB-D数据的实时稠密重建算法研究[D]. 魏凯.华中科技大学 2019
[3]基于物体语义信息的室内视觉SLAM研究[D]. 张威.山东大学 2019
[4]基于帧间物体跟踪的机器人语义SLAM研究[D]. 迟金鑫.山东大学 2019
[5]室内环境的二维语义地图构建与路径规划研究[D]. 光兴屿.武汉科技大学 2019
[6]基于视觉SLAM的语义地图研究[D]. 常思雨.哈尔滨工业大学 2018
[7]室内场景的语义地图建立[D]. 侯谊.哈尔滨工业大学 2018
[8]基于环境语义信息的SLAM算法研究与实现[D]. 魏乐麒.西安电子科技大学 2018
[9]基于语义地图视觉SLAM系统设计[D]. 刘震.北京交通大学 2018
[10]动态场景下基于视觉的同时定位与建图[D]. 公维蒙.哈尔滨工业大学 2018
本文编号：3510000
【文章来源】：长春理工大学吉林省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
FAST特征点检测示意图
第2章视觉SLAM算法15图2.2ElasticFusion算法流程图2.4.2ICP算法迭代最近点，即IterativeClosestPoint,简称ICP。ICP算法作为ElasticFusion中求解相机位姿的一步，是十分重要的。且由于点云数据的独特的存储结构，使得可以用较小的存储成本获得准确的拓扑结构和几何结构，因而ICP的应用越来越广泛，下面将具体介绍ICP算法的基本原理和步骤。ICP算法的基本原理是：分别在待匹配的目标点云P和源点云Q中，按照某种约束条件，找到最邻近点(,)iipq，然后计算出最优匹配参数旋转矩阵R和平移向量t，使得误差函数最校误差函数如式2-21所示。()()211,==+niiiERtqRptn（2-21）式中，n为最临近点对的个数，ip为目标点云P中的一点，iq为源点云Q中与ip对应的最近点[31]。ICP算法步骤：1）搜索最近点，从待配准点云P中取一点ip，在源点云Q中找出距离ip最近的点iq，则(,)iipq构成一组对应点集，由于ip和iq要通过某种旋转平移来进行匹配，从
第2章视觉SLAM算法16而得到一种旋转平移的关系，即(R,t)，而(R,t)为待优化目标。2）对(R,t)进行求解，由于(,)iipq的个数为n，对应了n个方程组，故而该方程一定可解，但由于要得到精确的变换关系，采用了迭代算法。3）通过步骤2求解得到的(R,t)应用在点集P中的所有点上，从而获得新的点集P′，定义一个函数d，11==′niiidpqn，根据精度要求，判断d是否小于给定阈值，如果小于给定阈值则停止迭代，如果不小于给定阈值则返回第二步。4）判断迭代次数是否达到给定上限，如果达到上限则停止迭代[32]。ICP算法流程图如图2.3所示。图2.3ICP算法流程图2.4.3融合预测的跟踪1）几何位姿估计当前帧的深度图像ltD和上一帧预测的模型深度图像1atD之间存在一个参数ξ，该参数可以通过使三维反投影顶点之间的点到平面误差最小来得到，如式2-22所示[33]。(()))2=expξkkkicptkEvTvn（2-22）式中，ktv是当前帧深度图像ltD中的t时刻的第k个顶点的反投影，即表示在相机坐标系下的空间位置，kv和kn是在t-1时刻优化后得到的与ktv相对应的顶点和法线。T是从上一时刻的相机位姿到当前时刻的相机位姿的转换的估计。()expξ是将李代数se3的一个成员映射到对应的李群SE3的一个矩阵指数[34,35]。而对于顶点，则用投影数据进行数据的相互关联。该公式主要给出了如何利用深度图像来进行对相机位姿变
【参考文献】：
期刊论文
[1]基于多源融合FCN的图像分割[J]. 冯家文,张立民,邓向阳. 计算机应用研究. 2018(09)
[2]无人驾驶汽车环境感知技术综述[J]. 王世峰,戴祥,徐宁,张鹏飞. 长春理工大学学报(自然科学版). 2017(01)
[3]单目视觉同步定位与地图创建方法综述[J]. 顾照鹏,刘宏. 智能系统学报. 2015(04)
[4]自主移动机器人室内定位方法研究综述[J]. 高云峰,周伦,吕明睿,刘文涛. 传感器与微系统. 2013(12)
博士论文
[1]基于不变特征提取及匹配技术的螺旋对称性检测问题研究[D]. 王建东.天津大学 2014
硕士论文
[1]基于SLAM技术的移动机器人定位关键技术研究[D]. 杨建松.东华理工大学 2019
[2]基于RGB-D数据的实时稠密重建算法研究[D]. 魏凯.华中科技大学 2019
[3]基于物体语义信息的室内视觉SLAM研究[D]. 张威.山东大学 2019
[4]基于帧间物体跟踪的机器人语义SLAM研究[D]. 迟金鑫.山东大学 2019
[5]室内环境的二维语义地图构建与路径规划研究[D]. 光兴屿.武汉科技大学 2019
[6]基于视觉SLAM的语义地图研究[D]. 常思雨.哈尔滨工业大学 2018
[7]室内场景的语义地图建立[D]. 侯谊.哈尔滨工业大学 2018
[8]基于环境语义信息的SLAM算法研究与实现[D]. 魏乐麒.西安电子科技大学 2018
[9]基于语义地图视觉SLAM系统设计[D]. 刘震.北京交通大学 2018
[10]动态场景下基于视觉的同时定位与建图[D]. 公维蒙.哈尔滨工业大学 2018
本文编号：3510000
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3510000.html
