基于视觉SLAM的室内语义地图构建
发布时间：2021-05-21 18:41
随着科学技术的发展和生活水平的提高,机器人逐渐进入到人们的日常生活。但是目前的家居服务机器人通常是基于同时定位地图构建（Simultaneous Localization and Mapping,SLAM）技术来构建包含几何信息的稀疏路标地图,仅仅能够用于执行导航定位任务。这种情况下,机器人无法理解环境中物品高层语义信息,就难以执行人所下达的包含高层语义信息的命令。在这种需求下,将SLAM和物体检测识别技术结合起来,构建包含物体语义信息的语义地图成为了一个行之有效的解决方案。本文针对室内语义地图的构建,首先研究了物体级的语义地图构建。基于YOLACT（You Only Look At CoefficienTs）网络对图像进行实例分割,并提出了一种结合深度信息的自适应区域增长算法对实例分割进行优化,得到更加准确的三维实例分割,实现了单帧图像的语义标注。针对地图的物体实例,采用YOLACT提取的语义特征和LAB空间的颜色特征对物体实例外观进行特征编码,通过结合外观一致性和空间一致性的方法对地图中的物体进行实例匹配,实现了物体库中的物体构建和物体更新。最后基于八叉树数据结构,构建了包含物体实...
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
Abstract
1 绪论
1.1 研究背景和意义
1.2 语义地图构建技术研究现状
1.2.1 机器人SLAM技术
1.2.2 物体检测与识别技术
1.2.3 语义地图构建技术
1.3 研究内容和论文结构
2 语义地图的系统设计
2.1 视觉SLAM算法基础和框架
2.1.1 视觉SLAM的算法基础和分类
2.1.2 ORB-SLAM2 算法框架分析
2.2 语义地图构建框架与流程
2.3 本章小结
3 基于深度学习的物体语义标注
3.1 卷积神经网络原理
3.2 基于实例分割算法的物体语义标注
3.2.1 YOLACT网络
3.2.2 基于YOLACT的物体语义标注
3.3 结合深度信息的三维目标语义标注算法设计
3.3.1 相机成像原理
3.3.2 结合深度信息的三维目标分割优化
3.3.3 三维目标分割效果比较
3.4 本章小结
4 物体级的语义地图构建
4.1 物体实例的外观特征编码
4.2 物体实例匹配和物体更新
4.2.1 结合外观一致性和空间一致性的物体匹配
4.2.2 物体库的构建与物体更新
4.3 基于八叉树的语义地图构建
4.4 语义地图构建实验验证
4.4.1 实验平台介绍
4.4.2 公开数据集验证
4.4.3 真实场景实验
4.5 本章小结
5 面向动态环境的语义地图构建
5.1 视频中的动态目标检测
5.1.1 光流介绍
5.1.2 基于卷积神经网络的光流场预测算法
5.1.3 基于光流和先验知识的动态物体检测
5.2 基于动态目标检测的动态场景处理
5.2.1 动态特征点的剔除
5.2.2 语义地图中动态目标的处理
5.3 动态环境下语义地图构建实验验证
5.3.1 SLAM系统性能评估
5.3.2 dynamic SLAM定位精度实验
5.3.3 动态场景下的语义地图构建实验
5.4 本章小结
6 总结与展望
6.1 本文的主要研究成果
6.2 下一步的研究方向
参考文献
攻读硕士学位期间的主要成果
【参考文献】：
期刊论文
[1]简析机器人技术在智能家居行业中的应用[J]. 刘敏,黄剑,李思源,周晓杰. 南方农机. 2019(21)
[2]基于视觉SLAM的物体实例识别与语义地图构建[J]. 吴皓,迟金鑫,田国会. 华中科技大学学报(自然科学版). 2019(09)
[3]养老服务机器人的技术发展趋势[J]. 刘珊,兰智高. 计算机测量与控制. 2019(07)
[4]目标检测算法研究综述[J]. 方路平,何杭江,周国民. 计算机工程与应用. 2018(13)
[5]基于深度学习的视觉SLAM综述[J]. 赵洋,刘国良,田国会,罗勇,王梓任,张威,李军伟. 机器人. 2017(06)
[6]中国养老服务机器人的市场需求与产业发展[J]. 张思锋,张泽滈. 西安交通大学学报(社会科学版). 2017(05)
[7]基于云的语义库设计及机器人语义地图构建[J]. 于金山,吴皓,田国会,薛英花,赵贵祥. 机器人. 2016(04)
[8]基于光流法的运动目标检测与跟踪算法[J]. 肖军,朱世鹏,黄杭,谢亚男. 东北大学学报(自然科学版). 2016(06)
[9]基于单目视觉的同时定位与地图构建方法综述[J]. 刘浩敏,章国锋,鲍虎军. 计算机辅助设计与图形学学报. 2016(06)
[10]基于优化RBPF的同时定位与地图构建[J]. 罗元,苏琴,张毅,郑潇峰. 华中科技大学学报(自然科学版). 2016(05)
硕士论文
[1]基于物体语义信息的室内视觉SLAM研究[D]. 张威.山东大学 2019
[2]基于帧间物体跟踪的机器人语义SLAM研究[D]. 迟金鑫.山东大学 2019
[3]基于激光雷达的室内移动机器人SLAM与导航技术研究[D]. 杜哲夫.湖北工业大学 2019
[4]基于激光雷达的二维即时定位与制图技术研究[D]. 李昊.东南大学 2018
[5]基于雅可比矩阵的工业机器人手眼协调系统的研究[D]. 秦伟洋.长春工业大学 2018
[6]基于深度学习的语义同步定位与地图构建[D]. 赵洋.山东大学 2018
[7]基于超体素区域增长的点云分割算法研究[D]. 姜媛媛.西安电子科技大学 2017
[8]背光式显示设备的显示优化技术[D]. 常文静.西安电子科技大学 2017
[9]基于贝叶斯的多机器人SLAM方法研究[D]. 明钊光.宁波大学 2014
[10]一种改进的小区域增长算法分割3D肝脏MDCT医学图像[D]. 任观就.暨南大学 2003
本文编号：3200189
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：81 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
Abstract
1 绪论
1.1 研究背景和意义
1.2 语义地图构建技术研究现状
1.2.1 机器人SLAM技术
1.2.2 物体检测与识别技术
1.2.3 语义地图构建技术
1.3 研究内容和论文结构
2 语义地图的系统设计
2.1 视觉SLAM算法基础和框架
2.1.1 视觉SLAM的算法基础和分类
2.1.2 ORB-SLAM2 算法框架分析
2.2 语义地图构建框架与流程
2.3 本章小结
3 基于深度学习的物体语义标注
3.1 卷积神经网络原理
3.2 基于实例分割算法的物体语义标注
3.2.1 YOLACT网络
3.2.2 基于YOLACT的物体语义标注
3.3 结合深度信息的三维目标语义标注算法设计
3.3.1 相机成像原理
3.3.2 结合深度信息的三维目标分割优化
3.3.3 三维目标分割效果比较
3.4 本章小结
4 物体级的语义地图构建
4.1 物体实例的外观特征编码
4.2 物体实例匹配和物体更新
4.2.1 结合外观一致性和空间一致性的物体匹配
4.2.2 物体库的构建与物体更新
4.3 基于八叉树的语义地图构建
4.4 语义地图构建实验验证
4.4.1 实验平台介绍
4.4.2 公开数据集验证
4.4.3 真实场景实验
4.5 本章小结
5 面向动态环境的语义地图构建
5.1 视频中的动态目标检测
5.1.1 光流介绍
5.1.2 基于卷积神经网络的光流场预测算法
5.1.3 基于光流和先验知识的动态物体检测
5.2 基于动态目标检测的动态场景处理
5.2.1 动态特征点的剔除
5.2.2 语义地图中动态目标的处理
5.3 动态环境下语义地图构建实验验证
5.3.1 SLAM系统性能评估
5.3.2 dynamic SLAM定位精度实验
5.3.3 动态场景下的语义地图构建实验
5.4 本章小结
6 总结与展望
6.1 本文的主要研究成果
6.2 下一步的研究方向
参考文献
攻读硕士学位期间的主要成果
【参考文献】：
期刊论文
[1]简析机器人技术在智能家居行业中的应用[J]. 刘敏,黄剑,李思源,周晓杰. 南方农机. 2019(21)
[2]基于视觉SLAM的物体实例识别与语义地图构建[J]. 吴皓,迟金鑫,田国会. 华中科技大学学报(自然科学版). 2019(09)
[3]养老服务机器人的技术发展趋势[J]. 刘珊,兰智高. 计算机测量与控制. 2019(07)
[4]目标检测算法研究综述[J]. 方路平,何杭江,周国民. 计算机工程与应用. 2018(13)
[5]基于深度学习的视觉SLAM综述[J]. 赵洋,刘国良,田国会,罗勇,王梓任,张威,李军伟. 机器人. 2017(06)
[6]中国养老服务机器人的市场需求与产业发展[J]. 张思锋,张泽滈. 西安交通大学学报(社会科学版). 2017(05)
[7]基于云的语义库设计及机器人语义地图构建[J]. 于金山,吴皓,田国会,薛英花,赵贵祥. 机器人. 2016(04)
[8]基于光流法的运动目标检测与跟踪算法[J]. 肖军,朱世鹏,黄杭,谢亚男. 东北大学学报(自然科学版). 2016(06)
[9]基于单目视觉的同时定位与地图构建方法综述[J]. 刘浩敏,章国锋,鲍虎军. 计算机辅助设计与图形学学报. 2016(06)
[10]基于优化RBPF的同时定位与地图构建[J]. 罗元,苏琴,张毅,郑潇峰. 华中科技大学学报(自然科学版). 2016(05)
硕士论文
[1]基于物体语义信息的室内视觉SLAM研究[D]. 张威.山东大学 2019
[2]基于帧间物体跟踪的机器人语义SLAM研究[D]. 迟金鑫.山东大学 2019
[3]基于激光雷达的室内移动机器人SLAM与导航技术研究[D]. 杜哲夫.湖北工业大学 2019
[4]基于激光雷达的二维即时定位与制图技术研究[D]. 李昊.东南大学 2018
[5]基于雅可比矩阵的工业机器人手眼协调系统的研究[D]. 秦伟洋.长春工业大学 2018
[6]基于深度学习的语义同步定位与地图构建[D]. 赵洋.山东大学 2018
[7]基于超体素区域增长的点云分割算法研究[D]. 姜媛媛.西安电子科技大学 2017
[8]背光式显示设备的显示优化技术[D]. 常文静.西安电子科技大学 2017
[9]基于贝叶斯的多机器人SLAM方法研究[D]. 明钊光.宁波大学 2014
[10]一种改进的小区域增长算法分割3D肝脏MDCT医学图像[D]. 任观就.暨南大学 2003
本文编号：3200189
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3200189.html
