基于深度相机的物体模型重建方法研究

发布时间：2021-10-21 12:10

　　近年来,随着消费级硬件的性能提高、高质量的深度传感器被植入移动设备和人工智能技术的迅速发展,3D人脸识别、人脸模型重建及AR/VR等人工智能产品逐渐在移动设备上得到应用,促进了三维重建技术的普及。针对于轻量级的特定场景模型（如物体、人体、人脸）重建算法的研究是当前3D视觉领域的研究热点,在不依赖高配置硬件前提下实现对物体建模可促进物流、机器人抓取及互娱等领域的发展,商业价值大,因此本文基于深度相机的物体模型重建方法研究具有十分重要的意义。本课题以深度相机Real Sense D435和树莓派4B为硬件平台,基于Linux系统设计并搭建了针对物体建模的重建算法框架。以静态物体为重建对象,以实现快速、高效的模型重建为研究目标,提出了一种基于稀疏帧融合的物体稠密模型重建方案,在不依赖于高配置显卡加速且保证重建效率的前提下,快速构建出物体的稠密模型。文中研究了基于深度相机和人工棋盘格特征相结合的方法,获取相机的6D运动状态信息;通过分析相机的运动状态,确定参考坐标系及参考点;引入筛选帧环节,剔除位姿不正确的数据,筛选出有效的待融合帧。以提高重建效率为目标,在进行融合与重建前,使用深度学习中Yo... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

KinectFusion算法流程图[1]

哈尔滨工业大学工学硕士学位论文基于RGBD相机的稠密三维重建，一般使用网格模型融合点云（VolumetricFusion）：2011年，微软剑桥研究院的Newcombe等人[1,2]在SIGGRAPH上发布Kinect-Fusion算法（图1-1），是该领域研究的开山之作。其使用ICP（IterativeClosestPoint）[3]的方式获取相机的位姿（frametomodel），采用TSDF（TruncatedSignedDistanceFunction）[4]的方式进行融合和光线追踪（raytracing）[5]的方式获取点云模型。在高配置显卡的支持下，首次实现了基于廉价消费类相机的实时室内场景重建，在当时非常有影响力，推动了实时三维重建的商业化进程。但使用纯ICP的方式求解位姿，对输入图像帧率的有较高要求，否则位姿精度和模型重建质量得不到保证。图1-1KinectFusion算法流程图[1]Kinfu是微软KinectFusion算法的开源实现。截止到目前，Kinfu已经在Kinect系列相机的SDK，PCL（PointCloudLibrary）1.8及以上版本和Opencv4.0及以上版本库中得到封装和应用。2012年，爱尔兰国立大学的Wheland等人[6]在KinectFusion基础上做了改进，提出了Kintinuous算法。Kintinuous在位姿估计方面，采用直接法[7,8]与ICP组合的方式，更充分的利用了彩色图和图像图中的信息，提高了位姿求解的精度和算法的鲁棒性。对于KinectFusion只能重建固定大小场景的缺点，Kintinuous采用了扩展体模型的方式（图1-2），解决针对大场景重建模型时显存不足的问题。此外，Kintinuous引入了回环检测模块和回环优化，提高模型重建的效果。图1-2Kintinuous算法模型扩展过程[6]-3-

VoxelHash结构编码[9]

【参考文献】：
硕士论文
[1]基于RGBD的柔性可变形物体序列重建[D]. 邓海金.浙江大学 2019



本文编号：3448950