基于深度学习的室内点云场景语义理解研究
发布时间：2021-07-14 10:10
室内场景的语义理解对于机器人等智能设备的发展具有重要的研究价值,而由于室内场景含有大量的复杂结构以及多种多样的人工制品,使语义理解的难度增加,并且传统基于二维图像进行语义理解的方法严重受相机参数及光照不可控的强烈影响,语义理解的层次较低。成功解决室内场景的语义理解难题,获得场景内的语义类别数以及每个类别对应的实例数,将使计算机视觉中的地图导航、环境感知、人机交互和三维数字化建模等任务获得新的突破。随着深度数据获取的方便,本文主要针对室内场景的语义理解难题,利用深度学习技术,结合二维彩色信息与三维深度信息对室内场景进行语义理解,提出室内场景的语义理解框架,由二维语义分割、语义场景重建、三维实例分割三个步骤组成,得到场景内部的语义类别及对应实例。为了获得室内场景的语义类别数,使RGB信息与深度信息的优点互补结合,本文提出基于U-Net的双数据流语义分割网络,从二维出发进行语义分割,通过对各项评价指标的分析以及与多种通道的数据类型、不同网络模型的对比,验证了基于U-Net网络的RGB数据流与Depth数据流先分离后融合的训练方式在室内场景语义分割中的有效性。为了给实例分割提供完整且数据量少的...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
DeepContext处理流程
SSCNet结果
点云作为输入，若应用于三维全景场景的理解，所需模板的复杂度将指数级扩大。普林斯顿大学的 Shuran Song 等人提出端到端的语义场景修复网络 SSCNet（semantic scene completion network）[14]，利用语义类别信息进行预测，使得输出预测超出了输入深度图所隐含的投影表面，从而为场景提供占比信息，完成三维点云的修补（如图 1-2 所示），但是输入为单帧小视角的二维深度图，且主要的目标是根据类别信息进行场景的修复，达不到真正的语义理解。微软研究院的 Or Litany等人，提出 ASIST 方法（Automatic Semantically Invariant Scene Transformation）[15]，通过对森林分类器进行学习，完成对场景的分割，之后根据最小化多个目标函数的方式，将分割后的点云进行语义分析，达到类别识别、模型替换的目的，如图1-3 所示，但是由于能量函数设计的特殊性，导致扩展性小。图 1-1 DeepContext 处理流程[13]
【参考文献】：
期刊论文
[1]深度卷积神经网络在计算机视觉中的应用研究综述[J]. 卢宏涛,张秦川. 数据采集与处理. 2016(01)
[2]基于标志点的三维点云自动拼接技术[J]. 杨帆,权巍,白宝兴,薛耀红. 计算机工程与设计. 2014(09)
[3]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
[4]K-Means聚类算法的研究[J]. 周爱武,于亚飞. 计算机技术与发展. 2011(02)
[5]车载激光点云数据的栅格化处理[J]. 杨长强,叶泽田,卢秀山,吴俣. 测绘科学. 2009(05)
[6]多尺度双边滤波及其在图像分割中的应用[J]. 肖传民,亓琳,史泽林. 信息与控制. 2009(02)
[7]聚类算法研究[J]. 孙吉贵,刘杰,赵连宇. 软件学报. 2008(01)
[8]在Pro/E中基于点云数据建立CAD模型的几种方法[J]. 张树森,郑成志,姚继权,肖胜兵,程俊廷. 工具技术. 2005(10)
[9]基于支持向量机的图像语义分类(英文)[J]. 万华林,Morshed U.Chowdhury. 软件学报. 2003(11)
[10]反求工程CAD建模技术研究[J]. 柯映林,肖尧先,李江雄. 计算机辅助设计与图形学学报. 2001(06)
博士论文
[1]面向室内场景的3D场景重建与语义理解[D]. 赵哲.中国科学技术大学 2016
[2]面向服务机器人的室内语义地图构建的研究[D]. 王锋.中国科学技术大学 2014
硕士论文
[1]基于RGB-D图像的室内场景语义分割方法[D]. 冯希龙.南京邮电大学 2015
[2]三维点云场景语义分割建模研究[D]. 陆桂亮.南京大学 2014
[3]基于迭代马尔科夫网络的室内三维点云语义标注研究[D]. 林思远.厦门大学 2014
[4]基于区域统计特性的场景分类方法研究[D]. 苗京京.电子科技大学 2012
[5]基于密度的聚类算法研究[D]. 杨建红.长春工业大学 2010
[6]基于kd-tree的点云数据空间管理理论与方法[D]. 刘艳丰.中南大学 2009
本文编号：3283932
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
DeepContext处理流程
SSCNet结果
点云作为输入，若应用于三维全景场景的理解，所需模板的复杂度将指数级扩大。普林斯顿大学的 Shuran Song 等人提出端到端的语义场景修复网络 SSCNet（semantic scene completion network）[14]，利用语义类别信息进行预测，使得输出预测超出了输入深度图所隐含的投影表面，从而为场景提供占比信息，完成三维点云的修补（如图 1-2 所示），但是输入为单帧小视角的二维深度图，且主要的目标是根据类别信息进行场景的修复，达不到真正的语义理解。微软研究院的 Or Litany等人，提出 ASIST 方法（Automatic Semantically Invariant Scene Transformation）[15]，通过对森林分类器进行学习，完成对场景的分割，之后根据最小化多个目标函数的方式，将分割后的点云进行语义分析，达到类别识别、模型替换的目的，如图1-3 所示，但是由于能量函数设计的特殊性，导致扩展性小。图 1-1 DeepContext 处理流程[13]
【参考文献】：
期刊论文
[1]深度卷积神经网络在计算机视觉中的应用研究综述[J]. 卢宏涛,张秦川. 数据采集与处理. 2016(01)
[2]基于标志点的三维点云自动拼接技术[J]. 杨帆,权巍,白宝兴,薛耀红. 计算机工程与设计. 2014(09)
[3]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
[4]K-Means聚类算法的研究[J]. 周爱武,于亚飞. 计算机技术与发展. 2011(02)
[5]车载激光点云数据的栅格化处理[J]. 杨长强,叶泽田,卢秀山,吴俣. 测绘科学. 2009(05)
[6]多尺度双边滤波及其在图像分割中的应用[J]. 肖传民,亓琳,史泽林. 信息与控制. 2009(02)
[7]聚类算法研究[J]. 孙吉贵,刘杰,赵连宇. 软件学报. 2008(01)
[8]在Pro/E中基于点云数据建立CAD模型的几种方法[J]. 张树森,郑成志,姚继权,肖胜兵,程俊廷. 工具技术. 2005(10)
[9]基于支持向量机的图像语义分类(英文)[J]. 万华林,Morshed U.Chowdhury. 软件学报. 2003(11)
[10]反求工程CAD建模技术研究[J]. 柯映林,肖尧先,李江雄. 计算机辅助设计与图形学学报. 2001(06)
博士论文
[1]面向室内场景的3D场景重建与语义理解[D]. 赵哲.中国科学技术大学 2016
[2]面向服务机器人的室内语义地图构建的研究[D]. 王锋.中国科学技术大学 2014
硕士论文
[1]基于RGB-D图像的室内场景语义分割方法[D]. 冯希龙.南京邮电大学 2015
[2]三维点云场景语义分割建模研究[D]. 陆桂亮.南京大学 2014
[3]基于迭代马尔科夫网络的室内三维点云语义标注研究[D]. 林思远.厦门大学 2014
[4]基于区域统计特性的场景分类方法研究[D]. 苗京京.电子科技大学 2012
[5]基于密度的聚类算法研究[D]. 杨建红.长春工业大学 2010
[6]基于kd-tree的点云数据空间管理理论与方法[D]. 刘艳丰.中南大学 2009
本文编号：3283932
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3283932.html
