基于卷积神经网络的移动机器人三维场景感知技术研究
发布时间：2021-05-18 13:36
随着技术的进步,对服务机器人的需求也日益增大。不同于工业机器人,服务机器人除了需要理解人的指令,更需要以类人的视角对环境有所感知,才能更好地提供服务。对物体的分割识别（语义分割）的研究仍以二维图片为主,但是对三维环境中的机器人来说,二维图片提供的信息是有限的。本文主要研究三维场景感知技术,具体表述为室内三维语义场景的构建、优化及描述方法。课题中建立了三维语义场景构建系统,构建出三维语义场景。文中首先基于深度学习中的卷积神经网络,在数据集上训练了融合RGB信息和深度信息的模型,对Kinect获得的单帧图片进行语义分割;利用ORB-SLAM系统提取图片特征并估计位姿,构建了携带语义信息的稠密的三维点云。文中改进、提出了三维语义场景的分割优化方法。在前人工作的基础上,结合体素滤波和贝叶斯估计的方法对点云进行了体素概率融合,获得了相对单帧图片的,多帧视角下的更优解。另一方面,课题中将基于深度学习的三维语义分割方法同基于凹凸性的LCCP算法结合起来,使室内场景的语义分割整体上得到优化。课题中描述了场景中物体的部分属性。在建立三维语义场景的基础上,课题中对场景中的物体进行进一步描述,例如物体的位置...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题来源及研究背景
1.1.1 课题来源
1.1.2 课题研究背景和意义
1.2 国内外研究现状
1.2.1 三维点云分割方法
1.2.2 基于深度学习的语义分割方法
1.2.3 三维场景构建方法
1.3 研究内容
第2章 三维语义场景构建方法的研究
2.1 引言
2.2 基于深度学习的图片语义分割研究
2.2.1 Caffe深度学习框架
2.2.2 卷积神经网络
2.2.3 分割模型
2.3 三维场景的建立
2.3.1 深度图和彩色图的匹配
2.3.2 图片序列的位姿估计
2.3.3 稠密点云地图的建立
2.4 点云的滤波和概率融合
2.4.1 点云的统计滤波
2.4.2 体素概率融合
2.5 本章小结
第3章 三维点云的分割优化与物体描述方法研究
3.1 引言
3.2 三维点云的语义分割优化
3.2.1 基于三维CRF的分割优化
3.2.2 结合凹凸性的语义分割优化
3.3 坐标系标定与个体分割
3.3.1 点云坐标系标定
3.3.2 基于欧式距离的个体分割
3.4 物体属性描述
3.4.1 空间大小与中心位置
3.4.2 主体颜色描述
3.4.3 关联属性描述
3.5 本章小结
第4章 基于自然语言命令的路径规划方法研究
4.1 引言
4.2 二维栅格地图的建立
4.2.1 地面滤除
4.2.2 生成栅格地图
4.3 基于视觉的起始点确定
4.4 基于自然语言命令识别的目标区域确定
4.4.1 数学形式描述
4.4.2 自然语言分词
4.4.3 自然语言词汇与知识库中符号的绑定
4.4.4 由符号列表构造机器人命令
4.5 基于Dijkstra和A*算法的路径规划
4.6 本章小结
第5章 三维语义场景构建及描述系统的实验及验证
5.1 引言
5.2 分割模型训练与测试实验
5.3 点云体素概率融合实验
5.4 基于凹凸性的语义分割优化实验
5.5 机器人自然语言命令识别实验
5.6 系统验证实验
5.6.1 场景布置与数据采集
5.6.2 三维语义场景构建及优化
5.6.3 个体分割与属性描述
5.6.4 全局路径规划
5.7 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]服务机器人技术研究现状与发展趋势[J]. 王田苗,陶永,陈阳. 中国科学:信息科学. 2012(09)
[2]一种基于HSV颜色空间模糊量化的图像检索方法[J]. 常小红,濮黄生,见伟平. 医疗卫生装备. 2011(04)
[3]服务机器人发展综述及若干问题探讨[J]. 熊光明,赵涛,龚建伟,高峻峣. 机床与液压. 2007(03)
[4]一种基于HSV颜色空间的图像检索技术[J]. 宋麦玲,李欢. 电脑知识与技术(学术交流). 2007(01)
硕士论文
[1]室内移动机器人路径规划及轨迹跟踪控制研究[D]. 任昶.哈尔滨工业大学 2017
[2]基于局部表面凸性的散乱点云分割算法研究[D]. 王雅男.中国科学院长春光学精密机械与物理研究所 2016
[3]散乱点云的数据分割与特征提取技术研究[D]. 张蓉.南昌大学 2016
[4]基于特征的车身典型复杂曲面点云数据的分割[D]. 钟婷婷.吉林大学 2015
[5]基于RGB-D的SLAM算法研究[D]. 丁洁琼.西安电子科技大学 2014
本文编号：3193885
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题来源及研究背景
1.1.1 课题来源
1.1.2 课题研究背景和意义
1.2 国内外研究现状
1.2.1 三维点云分割方法
1.2.2 基于深度学习的语义分割方法
1.2.3 三维场景构建方法
1.3 研究内容
第2章 三维语义场景构建方法的研究
2.1 引言
2.2 基于深度学习的图片语义分割研究
2.2.1 Caffe深度学习框架
2.2.2 卷积神经网络
2.2.3 分割模型
2.3 三维场景的建立
2.3.1 深度图和彩色图的匹配
2.3.2 图片序列的位姿估计
2.3.3 稠密点云地图的建立
2.4 点云的滤波和概率融合
2.4.1 点云的统计滤波
2.4.2 体素概率融合
2.5 本章小结
第3章 三维点云的分割优化与物体描述方法研究
3.1 引言
3.2 三维点云的语义分割优化
3.2.1 基于三维CRF的分割优化
3.2.2 结合凹凸性的语义分割优化
3.3 坐标系标定与个体分割
3.3.1 点云坐标系标定
3.3.2 基于欧式距离的个体分割
3.4 物体属性描述
3.4.1 空间大小与中心位置
3.4.2 主体颜色描述
3.4.3 关联属性描述
3.5 本章小结
第4章 基于自然语言命令的路径规划方法研究
4.1 引言
4.2 二维栅格地图的建立
4.2.1 地面滤除
4.2.2 生成栅格地图
4.3 基于视觉的起始点确定
4.4 基于自然语言命令识别的目标区域确定
4.4.1 数学形式描述
4.4.2 自然语言分词
4.4.3 自然语言词汇与知识库中符号的绑定
4.4.4 由符号列表构造机器人命令
4.5 基于Dijkstra和A*算法的路径规划
4.6 本章小结
第5章 三维语义场景构建及描述系统的实验及验证
5.1 引言
5.2 分割模型训练与测试实验
5.3 点云体素概率融合实验
5.4 基于凹凸性的语义分割优化实验
5.5 机器人自然语言命令识别实验
5.6 系统验证实验
5.6.1 场景布置与数据采集
5.6.2 三维语义场景构建及优化
5.6.3 个体分割与属性描述
5.6.4 全局路径规划
5.7 本章小结
结论
参考文献
致谢
【参考文献】：
期刊论文
[1]服务机器人技术研究现状与发展趋势[J]. 王田苗,陶永,陈阳. 中国科学:信息科学. 2012(09)
[2]一种基于HSV颜色空间模糊量化的图像检索方法[J]. 常小红,濮黄生,见伟平. 医疗卫生装备. 2011(04)
[3]服务机器人发展综述及若干问题探讨[J]. 熊光明,赵涛,龚建伟,高峻峣. 机床与液压. 2007(03)
[4]一种基于HSV颜色空间的图像检索技术[J]. 宋麦玲,李欢. 电脑知识与技术(学术交流). 2007(01)
硕士论文
[1]室内移动机器人路径规划及轨迹跟踪控制研究[D]. 任昶.哈尔滨工业大学 2017
[2]基于局部表面凸性的散乱点云分割算法研究[D]. 王雅男.中国科学院长春光学精密机械与物理研究所 2016
[3]散乱点云的数据分割与特征提取技术研究[D]. 张蓉.南昌大学 2016
[4]基于特征的车身典型复杂曲面点云数据的分割[D]. 钟婷婷.吉林大学 2015
[5]基于RGB-D的SLAM算法研究[D]. 丁洁琼.西安电子科技大学 2014
本文编号：3193885
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3193885.html
