基于单幅花朵图片的三维重建技术研究
发布时间：2021-02-16 16:48
近年来,随着虚拟技术的发展,人们对数字化、可视化提出了更高的要求,三维花朵模型在场景设计与计算机游戏等方面都有着非常重要的应用。花朵因为其复杂多变的结构面临更多的挑战。传统的基于单幅图像的三维重建技术,尽管输入数据仅需采集物体的一张图片,但无法处理被遮挡视角的信息缺失等问题。而基于多幅图像的物体三维重建需要建模人员提供多张不同视角的图片,通过运动恢复法、立体视觉法等方法综合多张图片信息重建出物体的三维模型。伴随着近年来深度学习的发展,从单一视角图片推断其余视角图片成为可能。本文将利用深度学习方法弥补缺失视角的信息,方便快捷的实现单幅图像的花朵重建。论文主要研究内容和结论如下:（1）构建用于深度学习的花朵三维模型数据集针对现有三维重建研究中缺少花朵三维模型数据集的问题,本研究使用3ds Max工具对网络上收集的三维场景模型中的花朵进行分割,共提取出4106个单独的花朵模型。随后将每个花朵模型进行预处理后使用Panda3D对其进行渲染,获得不同视角下各个花朵模型的真实的RGB图以及真实的深度图各24张,构建了可以用于深度神经网络学习的花朵数据集。（2）基于单幅花朵图像预测生成花朵多视角RG...
【文章来源】：西北农林科技大学陕西省 211工程院校 985工程院校 教育部直属院校
【文章页数】：52 页
【学位级别】：硕士
【部分图文】：
收集的花朵场景模型
西北农林科技大学硕士学位论文10图2-2通过3dsMax分割出的单个花朵模型Fig.2-2Singleflowermodelssegmentedby3dsMax预处理操作具体是求出能够包围花朵模型的最小立方体，假定其边长为a。之后对每个点的三维坐标做归一化操作，如式（2-1）所示。归一化操作保证了三维模型的中心位于世界坐标系的原点，从而使用Panda3D可以方便地渲染三维模型，得到不同角度的RGB图以及深度图。′=2()/′=2()/′=2()/(2-1)2.2构建花朵数据集2.2.1相机模型三维世界中的坐标点（以米为单位）映射到二维图像平面（以像素为单位）的过程能够用一个几何模型进行描述，计算机图形学往往将其称为相机模型。随着计算机图形学的不断发展，出现了大量成熟的相机模型，其中运用最广的是欧拉相机模型和UVN相机模型。由于欧拉相机通过旋转角定义相机的朝向，会造成万向锁（GimbalLock）的问题，使得相机系统缺失了一个坐标轴上的自由度，造成奇异性的问题，由于这种原因，欧拉相机也不适于插值和迭代，往往只用于人机交互中。UVN相机解决了这个问题，UVN相机模型与欧拉相机模型的区别在于如何定义相机朝向，UVN相机使用向量，欧拉相机使用角度。UVN相机由两个因素决定，其一是注视目标，其二是相机位置。通过以上两个因素可以确定世界坐标到相机坐标的转换。我们假定相机坐标系：右向量u(,,)，
第二章相关理论基础13(a)深度图（b）RGB图图2-3花朵模型的Panda3D渲染效果Fig.2-3Panda3Drenderingeffectofflowermodel2.2.3划分花朵数据集考虑到生成被遮挡视角下的RGB图片与深度图的质量取决于编码的对于三维信息表示的准确程度，为了降低深度网络的训练难度，本研究对花朵数据集按形态的不同分为简单花型与复杂花型，切分为不同的数据集，并对这两种花型的数据集分别进行训练。对于简单花型的定义为具有清晰的花瓣结构，人眼能够分辨花瓣的数量，复杂花型不能由人眼判断出花瓣的个数以及大致结构，花瓣之间自遮挡严重，没有明确的分布规律。图2-4给出了简单花型和复杂花型的示例，图3-3(a)为简单花型，图3-3(b)为复杂花型。在4106个单独的花朵模型中，划分为复杂模型的花朵占了1310个，划分为简单模型的花朵占了2796个。（a）简单花型（b）复杂花型图2-4花型区分示意图Fig.2-4Schematicdiagramofpatterndifferentiation每个花朵模型通过Panda3D渲染后都可以得到24张不同角度的RGB图与深度图。在24张图中随机抽取两幅不同的图片，构建出276个样本对，在每个样本对中选取一个样本的RGB图片作为输入数据，另一个样本的RGB图片与深度图作为深度学习的真实标签，这样一个模型可以构建出552个样本。采用简单的留一法进行训练集和测试集的划分。关于花朵训练集的划分如表2-1所示。至此，本研究构建了可以用于深度神经网络训练的三维花朵数据集。
【参考文献】：
期刊论文
[1]基于改进SIFT-ICP算法的Kinect植株点云配准方法[J]. 沈跃,潘成凯,刘慧,高彬. 农业机械学报. 2017(12)
[2]基于对称性的单幅图像花朵建模[J]. 缪永伟,刘丽丽,张旭东,刘震. 浙江大学学报(理学版). 2016(06)
[3]一种基于SfM重建点云的三角网格化算法[J]. 陈庭旺,王庆. 计算机应用研究. 2011(02)
[4]ICP算法在3D点云配准中的应用研究[J]. 杨现辉,王惠南. 计算机仿真. 2010(08)
[5]ICP算法在点云配准中的应用[J]. 戴静兰,陈志杨,叶修梓. 中国图象图形学报. 2007(03)
[6]基于图像的树类物体的三维重建[J]. 刘彦宏,王洪斌,杜威,李华. 计算机学报. 2002(09)
[7]Delaunay三角网格化算法及实现[J]. 管镭,孟宪琦,魏生民. 西北工业大学学报. 1996(01)
硕士论文
[1]基于深度图的点云融合算法与系统研究[D]. 曾光.华中科技大学 2018
[2]基于单幅图像的交互式三维花朵建模[D]. 刘丽丽.浙江工业大学 2017
[3]基于RGBD图像的三维重建关键问题研究[D]. 郭庆慧.山东财经大学 2014
[4]基于图像的三维重建及网格化算法研究[D]. 闫世博.上海交通大学 2013
本文编号：3036636
【文章来源】：西北农林科技大学陕西省 211工程院校 985工程院校 教育部直属院校
【文章页数】：52 页
【学位级别】：硕士
【部分图文】：
收集的花朵场景模型
西北农林科技大学硕士学位论文10图2-2通过3dsMax分割出的单个花朵模型Fig.2-2Singleflowermodelssegmentedby3dsMax预处理操作具体是求出能够包围花朵模型的最小立方体，假定其边长为a。之后对每个点的三维坐标做归一化操作，如式（2-1）所示。归一化操作保证了三维模型的中心位于世界坐标系的原点，从而使用Panda3D可以方便地渲染三维模型，得到不同角度的RGB图以及深度图。′=2()/′=2()/′=2()/(2-1)2.2构建花朵数据集2.2.1相机模型三维世界中的坐标点（以米为单位）映射到二维图像平面（以像素为单位）的过程能够用一个几何模型进行描述，计算机图形学往往将其称为相机模型。随着计算机图形学的不断发展，出现了大量成熟的相机模型，其中运用最广的是欧拉相机模型和UVN相机模型。由于欧拉相机通过旋转角定义相机的朝向，会造成万向锁（GimbalLock）的问题，使得相机系统缺失了一个坐标轴上的自由度，造成奇异性的问题，由于这种原因，欧拉相机也不适于插值和迭代，往往只用于人机交互中。UVN相机解决了这个问题，UVN相机模型与欧拉相机模型的区别在于如何定义相机朝向，UVN相机使用向量，欧拉相机使用角度。UVN相机由两个因素决定，其一是注视目标，其二是相机位置。通过以上两个因素可以确定世界坐标到相机坐标的转换。我们假定相机坐标系：右向量u(,,)，
第二章相关理论基础13(a)深度图（b）RGB图图2-3花朵模型的Panda3D渲染效果Fig.2-3Panda3Drenderingeffectofflowermodel2.2.3划分花朵数据集考虑到生成被遮挡视角下的RGB图片与深度图的质量取决于编码的对于三维信息表示的准确程度，为了降低深度网络的训练难度，本研究对花朵数据集按形态的不同分为简单花型与复杂花型，切分为不同的数据集，并对这两种花型的数据集分别进行训练。对于简单花型的定义为具有清晰的花瓣结构，人眼能够分辨花瓣的数量，复杂花型不能由人眼判断出花瓣的个数以及大致结构，花瓣之间自遮挡严重，没有明确的分布规律。图2-4给出了简单花型和复杂花型的示例，图3-3(a)为简单花型，图3-3(b)为复杂花型。在4106个单独的花朵模型中，划分为复杂模型的花朵占了1310个，划分为简单模型的花朵占了2796个。（a）简单花型（b）复杂花型图2-4花型区分示意图Fig.2-4Schematicdiagramofpatterndifferentiation每个花朵模型通过Panda3D渲染后都可以得到24张不同角度的RGB图与深度图。在24张图中随机抽取两幅不同的图片，构建出276个样本对，在每个样本对中选取一个样本的RGB图片作为输入数据，另一个样本的RGB图片与深度图作为深度学习的真实标签，这样一个模型可以构建出552个样本。采用简单的留一法进行训练集和测试集的划分。关于花朵训练集的划分如表2-1所示。至此，本研究构建了可以用于深度神经网络训练的三维花朵数据集。
【参考文献】：
期刊论文
[1]基于改进SIFT-ICP算法的Kinect植株点云配准方法[J]. 沈跃,潘成凯,刘慧,高彬. 农业机械学报. 2017(12)
[2]基于对称性的单幅图像花朵建模[J]. 缪永伟,刘丽丽,张旭东,刘震. 浙江大学学报(理学版). 2016(06)
[3]一种基于SfM重建点云的三角网格化算法[J]. 陈庭旺,王庆. 计算机应用研究. 2011(02)
[4]ICP算法在3D点云配准中的应用研究[J]. 杨现辉,王惠南. 计算机仿真. 2010(08)
[5]ICP算法在点云配准中的应用[J]. 戴静兰,陈志杨,叶修梓. 中国图象图形学报. 2007(03)
[6]基于图像的树类物体的三维重建[J]. 刘彦宏,王洪斌,杜威,李华. 计算机学报. 2002(09)
[7]Delaunay三角网格化算法及实现[J]. 管镭,孟宪琦,魏生民. 西北工业大学学报. 1996(01)
硕士论文
[1]基于深度图的点云融合算法与系统研究[D]. 曾光.华中科技大学 2018
[2]基于单幅图像的交互式三维花朵建模[D]. 刘丽丽.浙江工业大学 2017
[3]基于RGBD图像的三维重建关键问题研究[D]. 郭庆慧.山东财经大学 2014
[4]基于图像的三维重建及网格化算法研究[D]. 闫世博.上海交通大学 2013
本文编号：3036636
本文链接：https://www.wllwen.com/kejilunwen/nykj/3036636.html
