基于深度学习的室内点云语义分割方法研究
发布时间：2021-08-28 17:24
近年来,室内三维模型构建技术不断进步与发展,已广泛应用于室内导航、BIM模型构建、虚拟现实（Virtual Reality,VR）等领域中。三维激光点云是当前在室内三维模型构建中广泛使用的数据源,三维激光点云语义分割是构建室内三维模型中的关键技术之一,随着深度学习在二维图像分类、分割与识别任务中的广泛应用,基于深度学习的三维点云语义分割方法受到越来越多的关注与研究。PointNet网络是直接以点云为输入的深度神经网络的开山之作,具有重要意义,然而该网络结构主要提取点云的全局特征,忽略了对局部特征的学习与提取。针对原PointNet网络的缺点,为了提高点云分割的精度,本文以原PointNet网络为基础,对其网络结构进行改进提出了PointNet-Pro网络,为验证PointNet-Pro网络的有效性,还构建了室内建筑数据集进行实验对比。本文具体工作如下:（1）在点云无特定顺序、无特定空间拓扑结构的基础上,根据室内不同建筑元素的反射强度信息差距较大的特点,将点云的三维坐标信息,颜色信息与反射强度信息（Intenity）输入到点的特征空间。在网络结构的构建过程中,本文使用了基于R邻近的邻域采...
【文章来源】：北京建筑大学北京市
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
MVCNN网络模型结构[22]
第1章绪论5图1-2VoxNet网络模型结构[29]Fig.1-2VoxNetmodelstructure（3）以点云为输入的深度神经网络斯坦福大学Charles团队[32]提出了PointNet，该网络结构如图1-3所示，可分为分类网络与分割网络两部分。分割网络部分利用多层感知器（MLP）提取全局特征向量，并利用对称函数解决无序的问题，取得了不错的识别与分割精度。然而该网络只能学习得到点云全局特征，忽略了局部特征，因此该网络对于场景细节的分割精度较差。针对该问题Charles团队对PointNet进行了改进提出了PointNet++[33]，该网络考虑到了空间中点与点之间的距离度量，通过层级结构利用局部区域信息学习特征，网络结构更有效更鲁棒。YangyanLi[34]等人也在PointNet基础上进行改进，提出PointCNN网络结构模型，该模型通过对点云特性的分析，提出了一种从点云中学习得到的X变换矩阵，然后将其与点关联的输入特征(坐标、颜色等）进行卷积将它们重新排列成潜在隐含的规范顺序。虽然所提算法能够对点云卷积处理的性能有所提高，但X变换矩阵还有较大的改进空间，尤其是在对点云的排序方面其表现并不理想。JiangM等[35]也在PointNet的基础上进行了改进，提出了Pointsift网络，该方法借鉴在二维图像上使用较为广泛的sift算子，设计了一个Pointsift模块，对三维点云在不同方向上的信息进行编码，并且也具有尺度不变性。从而解决了PointNet无法学习得到点云局部特征的缺点。然而Pointsift网络结构大部分是PointNet的网络结构设计，在得到点云的空间尺度不变性的同时，也会使计算量增加，导致其网络运行效率较低。J.Li[36]等人在PointNet++基础上，提出最新的SO-Net以及Behl[37]等人对PointNet改进提出的PointFlowNet等网络模型均取得了较好的效果。但是对于大规模点云还具有一定的局限性
第1章绪论6引了方向，具有重要价值。鉴于直接以点云为输入的网络模型在点云分割上取得的较好效果，越来越多的研究者开始对这类方法进行研究与改进。图1-3PointNet网络模型[32]Fig.1-3PointNetmodelstructure1.3主要研究内容本文主要以室内建筑物为研究场景，重点研究基于深度学习的点云语义分割方法。在对当前较为先进的深度神经网络PointNet的研究分析基础上，本文拟对PointNet网络结构进行改进，以提高对室内点云数据的分割精度。本文首先针对PointNet网络对于点云局部特征提取能力不强的缺点，提出了一个基于PointNet改进的深度神经网络结构,并将该网络结构命名为PointNet-Pro。PointNet-Pro网络主要由四部分组成：局部特征提取部分，全局特征提取部分，局部与全局特征特征融合部分，点云语义分割部分。该网络结构在局部特征提取部分中主要增加了基于R近邻的局部特征提取算法，通过使用点的R邻域替代单个点作为输入进行高维特征提取，增强了点与点之间的相互关联。在网络其他部分中对PointNet网络的结构进行了调整，通过改变网络中的卷积核大小和局部特征提取部分的网络深度，并且通过全局特征与局部特征的融合以提高PointNet网络的分割精度。本文还使用站载式激光扫描仪构建了一个室内点云数据集，该数据集在具有点云三维坐标信息，颜色信息的基础上，还包含激光反射强度信息（Intenity）。最后，为验证本文提出的网络模型PointNet-Pro的有效性，在室内点云数据集上，使用PointNet-Pro网络与PointNet网络进行了对比实验。1.4论文章节安排本文主要研究基于深度学习的室内点云语义分割方法，在对现有较为先进的神经网络PointNet分析研究的基础上，提出了基于PointNet的改进网络结构以提高点云语义分割精度。本文的具体章节安排如下：
【参考文献】：
期刊论文
[1]利用点云检测室内导航元素的方法综述[J]. 危双丰,刘明蕾,赵江洪,黄帅. 武汉大学学报(信息科学版). 2018(12)
[2]三维点云场景数据获取及其场景理解关键技术综述[J]. 李勇,佟国峰,杨景超,张立强,彭浩,高华帅. 激光与光电子学进展. 2019(04)
[3]基于加权密集连接卷积网络的深度强化学习方法[J]. 夏旻,宋稳柱,施必成,刘佳. 计算机应用. 2018(08)
[4]欧氏聚类算法支持下的点云数据分割[J]. 陈向阳,杨洋,向云飞. 测绘通报. 2017(11)
[5]顾及建筑物屋顶结构的改进RANSAC点云分割算法[J]. 李云帆,谭德宝,刘瑞,邬建伟. 国土资源遥感. 2017(04)
[6]一种利用曲率约束的改进K-means三维点云数据分割方法[J]. 杨永涛,黄国言,张坤,吴培良. 小型微型计算机系统. 2017(11)
[7]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[8]深度卷积神经网络在计算机视觉中的应用研究综述[J]. 卢宏涛,张秦川. 数据采集与处理. 2016(01)
[9]基于球面投影的单站地面激光点云直线段提取方法[J]. 张帆,高云龙,黄先锋,尹若捷,张志超,朱宜萱. 测绘学报. 2015(06)
[10]智慧城市中的大数据[J]. 李德仁,姚远,邵振峰. 武汉大学学报(信息科学版). 2014(06)
博士论文
[1]基于激光点云的复杂三维场景多态目标语义分割技术研究[D]. 张蕊.战略支援部队信息工程大学 2018
[2]逆向工程中自由曲面与规则曲面重建关键技术研究[D]. 刘胜兰.南京航空航天大学 2005
硕士论文
[1]基于深度学习的三维点云语义分割研究[D]. 景川.西安电子科技大学 2019
[2]三维点云场景语义分割建模研究[D]. 陆桂亮.南京大学 2014
[3]卷积神经网络的研究与应用[D]. 徐姗姗.南京林业大学 2013
本文编号：3368937
【文章来源】：北京建筑大学北京市
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
MVCNN网络模型结构[22]
第1章绪论5图1-2VoxNet网络模型结构[29]Fig.1-2VoxNetmodelstructure（3）以点云为输入的深度神经网络斯坦福大学Charles团队[32]提出了PointNet，该网络结构如图1-3所示，可分为分类网络与分割网络两部分。分割网络部分利用多层感知器（MLP）提取全局特征向量，并利用对称函数解决无序的问题，取得了不错的识别与分割精度。然而该网络只能学习得到点云全局特征，忽略了局部特征，因此该网络对于场景细节的分割精度较差。针对该问题Charles团队对PointNet进行了改进提出了PointNet++[33]，该网络考虑到了空间中点与点之间的距离度量，通过层级结构利用局部区域信息学习特征，网络结构更有效更鲁棒。YangyanLi[34]等人也在PointNet基础上进行改进，提出PointCNN网络结构模型，该模型通过对点云特性的分析，提出了一种从点云中学习得到的X变换矩阵，然后将其与点关联的输入特征(坐标、颜色等）进行卷积将它们重新排列成潜在隐含的规范顺序。虽然所提算法能够对点云卷积处理的性能有所提高，但X变换矩阵还有较大的改进空间，尤其是在对点云的排序方面其表现并不理想。JiangM等[35]也在PointNet的基础上进行了改进，提出了Pointsift网络，该方法借鉴在二维图像上使用较为广泛的sift算子，设计了一个Pointsift模块，对三维点云在不同方向上的信息进行编码，并且也具有尺度不变性。从而解决了PointNet无法学习得到点云局部特征的缺点。然而Pointsift网络结构大部分是PointNet的网络结构设计，在得到点云的空间尺度不变性的同时，也会使计算量增加，导致其网络运行效率较低。J.Li[36]等人在PointNet++基础上，提出最新的SO-Net以及Behl[37]等人对PointNet改进提出的PointFlowNet等网络模型均取得了较好的效果。但是对于大规模点云还具有一定的局限性
第1章绪论6引了方向，具有重要价值。鉴于直接以点云为输入的网络模型在点云分割上取得的较好效果，越来越多的研究者开始对这类方法进行研究与改进。图1-3PointNet网络模型[32]Fig.1-3PointNetmodelstructure1.3主要研究内容本文主要以室内建筑物为研究场景，重点研究基于深度学习的点云语义分割方法。在对当前较为先进的深度神经网络PointNet的研究分析基础上，本文拟对PointNet网络结构进行改进，以提高对室内点云数据的分割精度。本文首先针对PointNet网络对于点云局部特征提取能力不强的缺点，提出了一个基于PointNet改进的深度神经网络结构,并将该网络结构命名为PointNet-Pro。PointNet-Pro网络主要由四部分组成：局部特征提取部分，全局特征提取部分，局部与全局特征特征融合部分，点云语义分割部分。该网络结构在局部特征提取部分中主要增加了基于R近邻的局部特征提取算法，通过使用点的R邻域替代单个点作为输入进行高维特征提取，增强了点与点之间的相互关联。在网络其他部分中对PointNet网络的结构进行了调整，通过改变网络中的卷积核大小和局部特征提取部分的网络深度，并且通过全局特征与局部特征的融合以提高PointNet网络的分割精度。本文还使用站载式激光扫描仪构建了一个室内点云数据集，该数据集在具有点云三维坐标信息，颜色信息的基础上，还包含激光反射强度信息（Intenity）。最后，为验证本文提出的网络模型PointNet-Pro的有效性，在室内点云数据集上，使用PointNet-Pro网络与PointNet网络进行了对比实验。1.4论文章节安排本文主要研究基于深度学习的室内点云语义分割方法，在对现有较为先进的神经网络PointNet分析研究的基础上，提出了基于PointNet的改进网络结构以提高点云语义分割精度。本文的具体章节安排如下：
【参考文献】：
期刊论文
[1]利用点云检测室内导航元素的方法综述[J]. 危双丰,刘明蕾,赵江洪,黄帅. 武汉大学学报(信息科学版). 2018(12)
[2]三维点云场景数据获取及其场景理解关键技术综述[J]. 李勇,佟国峰,杨景超,张立强,彭浩,高华帅. 激光与光电子学进展. 2019(04)
[3]基于加权密集连接卷积网络的深度强化学习方法[J]. 夏旻,宋稳柱,施必成,刘佳. 计算机应用. 2018(08)
[4]欧氏聚类算法支持下的点云数据分割[J]. 陈向阳,杨洋,向云飞. 测绘通报. 2017(11)
[5]顾及建筑物屋顶结构的改进RANSAC点云分割算法[J]. 李云帆,谭德宝,刘瑞,邬建伟. 国土资源遥感. 2017(04)
[6]一种利用曲率约束的改进K-means三维点云数据分割方法[J]. 杨永涛,黄国言,张坤,吴培良. 小型微型计算机系统. 2017(11)
[7]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[8]深度卷积神经网络在计算机视觉中的应用研究综述[J]. 卢宏涛,张秦川. 数据采集与处理. 2016(01)
[9]基于球面投影的单站地面激光点云直线段提取方法[J]. 张帆,高云龙,黄先锋,尹若捷,张志超,朱宜萱. 测绘学报. 2015(06)
[10]智慧城市中的大数据[J]. 李德仁,姚远,邵振峰. 武汉大学学报(信息科学版). 2014(06)
博士论文
[1]基于激光点云的复杂三维场景多态目标语义分割技术研究[D]. 张蕊.战略支援部队信息工程大学 2018
[2]逆向工程中自由曲面与规则曲面重建关键技术研究[D]. 刘胜兰.南京航空航天大学 2005
硕士论文
[1]基于深度学习的三维点云语义分割研究[D]. 景川.西安电子科技大学 2019
[2]三维点云场景语义分割建模研究[D]. 陆桂亮.南京大学 2014
[3]卷积神经网络的研究与应用[D]. 徐姗姗.南京林业大学 2013
本文编号：3368937
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3368937.html
