基于双目视觉的三维重建关键技术研究

发布时间：2020-11-02 22:54

　　 随着我国国民经济迅速发展,人们生活质量的提高,国家对智能制造,智能城市,智能园区等一系列智能技术越来越重视,体现人工智能的双目立体视觉越显重要,它在智能生产,交通监控,机器导航,航空航天,医学建模,视觉仿真,文物复原,非接触高精度测量等方面,提供包括虚拟视觉仿真,视觉识别与定位等技术,能够有效地提高生产效率和产品质量,降低运营成本和资源能源消耗。基于双目视觉的三维重建,是图形图像处理与机器视觉的重要组成部分。因为单目相机拍摄的单幅图像是二维的,没有第三维信息,所以采用双目摄像机仿真人类视觉系统,拍摄两张二维图像,并根据这两张图像匹配点对的视差,利用相似三角形原理计算出目标物体表面点到两镜头光心连线的距离,以及物体表面点云三维坐标。三维重建,是根据物体表面全部或部分点云的三维坐标,对目标物体全部或者部分表面进行重建。三维重建可以恢复场景的3D信息,协助机器人完成目标的识别、定位、测量、导航、抓取与跟踪等特定任务。基于双目视觉的三维重建,模仿人类的两只眼睛同时观察场景的方法,更加经济实用。本课题目的是通过双目视觉图像匹配,计算视差,根据视差计算物体表面点云并建立目标物体的三维模型,辅助机器人进行工件等物体的识别、定位与抓取。意义在于能够加快生产的速度,提高产品的质量,使工业制造智能化。本课题依托国家项目:国家重点研发计划“基于工业物联网的智能产线实时故障诊断关键技术研究及应用”(YS2017YFGH001945)。论文的主要贡献是提出以下几个方法:1.圆周二进制特征提取算法现有梯度特征与二进制特征提取方法,存在计算量大和入围率低的问题,针对这些问题,提出一种图像关键点局部区域的圆周二进制特征提取的方法。提取特征时,使用高斯金字塔仿真人眼小孔成像模型:近处目标成像大,远处目标成像小,近目标成像清晰,远处目标成像模糊,确保特征的光照、尺度、模糊不变性;使用FAST算子检测关键点;使用图像特征点邻域灰度重心法,计算关键点特征方向,确保特征的旋转不变性;提出镜像不变性规律和圆周二进制特征提取算法,提升二进制特征的镜像不变性。提取的圆周二进制特征适应性强,对比速率快。2.位图局部敏感哈希的匹配二进制特征搜索算法针对现有的匹配二进制特征搜索算法存在效率低和入围点少的问题,提出快速计算位图算法以及位图局部敏感哈希算法,搜索图像的匹配二进制特征。首先,计算左图特征位向量的关键字;然后,使用快速计算位图算法计算位向量的位图,将位图按照掩码提取出关键字,并与二进制特征的标识作为映射构建局部敏感哈希表,同时将关键字存入位集;最后,根据右图提取的二进制特征对应关键字,使用位图快速判断特征ID是否存在于哈希表中,以优化查询哈希表中的匹配二进制特征,提高匹配二进制特征的搜索效率和质量。实验证明,位图局部敏感哈希算法提高了二进制特征近邻搜索的效率、增加了入围点数。3.圆周二进制特征提取与匹配搜索方法二进制特征在图像匹配识别与定位中,具有计算简单快速、匹配效率高和存储简单的优点。现有二进制特征提取算法镜像不变性较差,匹配二进制特征搜索算法入围率低,针对这两个问题,结合圆周二进制特征提取算法和位图局部敏感哈希算法,提出圆周二进制特征提取与匹配搜索方法。4.内外相似度聚集的立体匹配算法针对现有立体匹配方法提取视差图像的非闭塞区域错误率高和效率低的问题,提出内外相似度聚集的立体匹配算法:首先,给出参考彩色图像近邻像素的内部相似度;然后,在图像彩色与亚像素空间,给出左图像与右图像之间候选匹配像素的外部相似度;接着,提出内外相似度聚集方法,聚集左右图像匹配点的相似度,使用赢者通吃算法计算视差图;最后,提出盒图滤波算法,提纯和平滑视差图像,并给出八方向内外相似度聚集的立体匹配算法,实验结果证明,内外相似度聚集的立体匹配算法提取视差图的非闭塞区域错误率低,效率高。5.基于视差图像的物体表面的三维重建方法根据双目相机获取的两幅图,提取视差图像,提出基于视差直方图的图像分割算法,在视差图像中分割出目标区域,将目标区域图像分成5*5的方块,将每个方块按其角点划分成两个三角形。根据相似三角形,计算目标物体或者情景的图像的每块的角点的三维坐标,得到目标物体或者情景表面的点云,将目标区域每块的角点对应的三维点,按照顺序连线构成三维的三角形,这样目标区域就被分割成了三角形网格,对目标物体进行建模。该方法对目标物体三维重建的精度高,计算量小。6.估计目标物体姿态的方法建立目标物体表面的三维模型后,分割出视差图的参考图像的目标区域,以参考图像目标区域作为匹配模板,提供目标自身相对形状;在模板图像上检测关键点并提取特征,且在待姿态估计的图像提取点特征,使用匹配特征搜索算法,查询两张图像的匹配特征,根据特征标签找到特征点坐标;根据模板图像匹配点像素坐标及模板视差图像,获取目标区域点的三维坐标,这样得到了3D到2D坐标的映射,使用PNP算法,对目标物体进行姿态估计。
【学位单位】：中国科学院大学(中国科学院沈阳计算技术研究所)
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP391.41
【部分图文】：

e-eighth circumference computed by centpk(xk+1, yk+1) 2xk+1 9 (1, 10) 2 6 (2, 10) 4 1 (3, 10) 6 6 (4, 9) 8 3 (5, 9) 10 8 (6, 8) 12 5 (7, 7) 14 径等于 10 时，中心画圆算法得到的是通过比较多个圆周上的像素灰度 CBD 特征的二进制字符串的长度为较两个像素灰度获得，这要求在 FA值在 1 到 13 区间时，中心画圆算法域尺寸为 27 27。图 3.1a 是半径为 2

图 3. 2 源图、镜像图对应字符串图e 3.2 Binary strings of source and mirror 3.2a 中关键点 C 顶端起，获得状态位是 S’，按照顺序是 S11’到 S0’，而且 作，获得一个新的状态位，新的状态中，纵式左边是状态位 S 与 S’ 的按的新状态位前一半与后一半按位与，结果是同一状态位 101 011，命名0 1 2 3 4 5 6 7 8 9 10 11' ' ' ' ' ' ' ' ' ' ' '11 10 9 8 7 6 5 4 3 2 1 01111| &10101 1 1 1 1 1 1 0 1 0 1 1 1010S S S S S S S S S S S SS S S S S S S S S S S SS S S S S S S S S S S

g. Trees实验采用蛮力搜索策略搜索匹配特征，使用最近邻算法根据近邻比率判定制特征的匹配，文中主要比较内点率，判定算法的优劣，内点占匹配点的数多匹配效果越好，本章 CBD 算法主要与 ORB、SURF 等算法比较。实验时提取左右图像 CBD 特征，使用蛮力搜索方法搜索两图的匹配特征，根据匹征对应的关键点坐标，计算左右图像一致性矩阵，根据一致性矩阵计算两图配点的重投影平均误差值，若该值小于设定阈值，则当前匹配点被判定为内点大于阈值，则当前匹配点被判定为离群点。图 3.4 是本章节 CBD 特征提取的流程图。
【参考文献】

相关期刊论文 前6条

1 黄劲;江腾飞;鲍虎军;;四边形与六面体自动重网格化技术研究综述[J];计算机辅助设计与图形学学报;2015年08期

2 贾棋;高新凯;罗钟铉;樊鑫;郭禾;;基于几何关系约束的特征点匹配算法[J];计算机辅助设计与图形学学报;2015年08期

3 朱利;岳爱珍;周聪;;面向城市建筑物3D点云模型的快速绘制方法[J];计算机辅助设计与图形学学报;2015年08期

4 魏小峰;耿则勋;娄博;宋向;;空间目标三维姿态估计方法[J];武汉大学学报(信息科学版);2015年01期

5 张天;唐承统;刘检华;;基于多目视觉的弯管空间参数测量方法[J];仪器仪表学报;2013年02期

6 孔相澧;章国锋;华炜;;基于全局优化的保细节分层多视图立体匹配[J];计算机辅助设计与图形学学报;2011年01期

本文编号：2867698