生成对抗网络下点云模型的三维重建与目标识别研究

发布时间：2022-01-08 01:46

　　三维重建与目标识别作为计算机视觉领域的重要研究方向,被广泛应用于智能机器人、安防监控以及目标追踪等领域。相较于二维图像数据,点云数据记录了目标空间位置信息,不受尺度、旋转和光照等因素的影响,已经成为三维重建与目标识别研究领域重要的数据载体。现有三维重建方法多忽视了重建目标的空间位置信息,在精度、速度以及算法泛化性上有着难以避免的缺陷;同时,在目标识别领域,现有研究方法多属于监督式学习,严重依赖数据标注,限制了小样本识别技术的发展。随着深度学习、强化学习的发展,尤其是生成对抗网络（Generative Adversarial Network,GAN）的出现,为解决三维重建与目标识别领域的问题提供了理论依据。本文在研究卷积神经网络（Convolutional Neural Network,CNN）与生成对抗网络基础上,提出一种基于生成对抗网络的点云模型三维重建与目标识别方法,用于重建三维目标以及无监督式三维目标识别。主要研究内容如下:（1）针对三维点云数据的无序性问题,在传统卷积神经网络的基础上,结合空间变换网络（Spatial Transformer Network,STN）,构建一种改... 

【文章来源】：武汉理工大学湖北省 211工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

基于PointCloud

15(a)airplane模型(b)bottle模型(c)car模型图2-1基于PointCloud点云数据的点云模型从图2-1中的三类点云模型airplane、bottle、car可以看出，PointCloud点云数据详细记录了目标物体的空间位置信息，且反映了更为详细的表面轮廓信息，同时可视化程度更高，对三维物体有着更强的描绘能力。通过对PointCloud点云数据与ModelNet40数据集的分析，本文确立了以PointCloud点云数据所表征的点云模型为研究对象和以ModelNet40数据集为实验数据集的研究方案。2.1.2三维点云数据特性分析相较于二维图像数据与RGB-D双模态数据，现有对PointCloud点云数据的研究进展较为缓慢。主要原因是受到点云数据的三个特性[49]的制约，这三个特性分别是：无序性，点间相互作用性，变换自适应性。它们限制了深度学习在点云数据上的应用，尤其是卷积神经网络的应用。（1）无序性通常在处理二维图像时，卷积神经网络总是按照一定的顺序研究二维图像各像素点之间的关系，例如从上到下、从左到右，这是因为二维图像不是无序的，其相邻像素点间的关联性强，相距远的像素点关联性弱。而与二维图像中的像素阵列以及体素网格中的体素阵列不同，点云数据是一组没有特殊顺序的点的集合，这就造成了当处理一个包含有N个点的点云数据时，需要处理N！组点云数据，显著增加了网络模型的计算量，限制了卷积神经网络的应用，这是卷积神经网络需要解决的第一个关键问题。（2）点间相互作用性尽管点云数据是无序的，但是它仍然像二维图像一样，具有很强的点间相互作用性。这主要是因为，点云数据中的点来自具有距离度量的空间中，它们不是孤立存在的，相邻的点构成了具有结构意义的子集，例如局部特征。因此，

19眀裢眀棣眀图2-3三维有序卷积神经网络模型图其中，Feature1至Feature5表示经卷积操作后的特征提取图，Fully1至Fully3表示经全连接操作后的特征融合图，（1024,3,1）表示该特征图输入的三个维度（高度H，宽度W，通道数C）分别为高度1024，宽度3，通道数1。各卷积层及全连接层详细参数如表2-2所示：表2-2三维有序卷积神经网络模型参数表类别input_channeloutput_channelkernelstrideconv1164(1,3)(1,1)conv26464(1,1)(1,1)conv36464(1,1)(1,1)conv464128(1,1)(1,1)conv51281024(1,1)(1,1)fc11024512\\fc2512256\\fc325640\\表2-2中，kernel中（1,3）表示卷积核的高度为1，宽度为3，其余同理；stride中（1,1）表示滑动窗口的步长高度为1，宽度为1，其余同理；非线性激活函数统一使用Relu型激活函数；模型损失函数采用交叉熵损失函数。2.2.3实验结果及分析本文为检验三维有序卷积神经网络模型对点云数据的处理能力，建立了面向点云模型的监督式目标识别实验，实验数据集为ModelNet40数据集（数据说明见2.2.1节），实验平台为GPU型号为GTX1080Ti的深度学习工作站。在实验中，考虑到模型体积较大，无法在一次模型训练中将一个点云模型中的全部数据点输入网络模型，因此实验采用随机采样的方法，从点云模型中随机选取数据点，采样点数目num_point为1024；由于模型在训练过程中存在正负样

【参考文献】：
期刊论文
[1]基于双目单视面的三维重建[J]. 王珊,徐晓.  光学学报. 2017(05)
[2]融合深度相机点云与光学影像的室内三维建模[J]. 张恬洁,康志忠.  测绘科学. 2016(12)
[3]用飞行时间相机优化可视外壳的实时三维重建算法[J]. 王聪,周忠,吴威.  计算机辅助设计与图形学学报. 2013(04)
[4]基于立体视觉的三维重建算法[J]. 于明,齐菲菲,于洋,阎刚,薛翠红.  计算机工程与设计. 2013(02)
[5]神经网络在图像处理中的应用[J]. 许锋,卢建刚,孙优贤.  信息与控制. 2003(04)

硕士论文
[1]基于图像特征点的稠密点云三维重建[D]. 苏涛.吉林大学 2018
[2]图像序列三维重建方法研究与实现[D]. 李聪.清华大学 2014
[3]基于结构光的3D重建系统[D]. 赵东威.南京大学 2013



本文编号：3575661