基于CNN的双目立体视觉三维实时重建算法研究

发布时间：2020-08-31 14:12

　　 机器视觉是生物医学工程领域广泛关注的热点问题。模拟人类双目感知原理的双目立体视觉技术已成为机器视觉的重要研究分支。双目立体视觉在医用手术机器人、无人驾驶等领域具有重要的应用价值。双目立体视觉中传统的稠密立体匹配算法在计算过程中产生海量数据,速度慢,难以应用于实时三维重建;稀疏立体匹配算法计算速度快,但匹配效果差,对噪声敏感。为在一定程度克服上述问题,本研究将卷积神经网络技术引入立体匹配算法对精度与速度进行提升,实现低成本三维实时重建。首先,使用张正友棋盘标定法对双目相机进行标定。可同时采集两张图像的USB接口双目相机是本研究的硬件基础,但制造过程所形成的光学畸变会严重影响匹配结果。为此,分析了相机成像数学模型和常见的相机标定算法,采用基于MATLAB工具箱的张氏标定法标定了本研究所使用的双目相机,经过特征点提取及迭代计算得到双目相机内参数和外参数,为后续研究做好基础。然后,针对传统匹配算法精度低且耗时的问题,设计了基于卷积神经网络的匹配代价算法。良好的软件平台可加速算法的设计和验证过程。因此,配置了win7系统的vs2013开发环境下的OpenCV3.3.0机器视觉开发库,搭建了Ubuntu16.04系统下的卷积神经网络框架Caffe。利用KITTI数据集中具有真实视差的图像对,构建大量小块图像对正负样本数据集,设计了孪生卷积神经网络结构并设定了各层参数,训练网络模型计算图像对匹配代价。最后,采用半全局匹配算法进行代价聚合、Winner-Take-All策略寻找最优对应点,使用左右一致性检查算法解决因物体遮挡造成匹配点缺失的问题,并通过平滑滤波对视差图进一步优化,获得最终视差图。高精度视差图结合三角测量原理,获取人颅骨模型及大脑解剖模型的3D点云数据并进行三维重建。实验结果证明了基于孪生卷积神经网络模型的立体匹配算法对提升匹配精度和速度的有效性和可行性,初步实现实时的双目立体视觉三维重建。
【学位单位】：沈阳工业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【部分图文】：

图 1.1 达芬奇手术机器人Fig 1.1 Da Vinci surgical robot图 1.2 无人驾驶汽车Fig 1.2 Driverless cars要分为双目图像获取、双目相机系各部分之间的关系见图 1.3）。双目仪

图 1.2 无人驾驶汽车Fig 1.2 Driverless cars觉系统主要分为双目图像获取、双目相机系统标定、立大环节（各部分之间的关系见图 1.3）。双目立体视觉立体重建[12]。其中，立体匹配是双目立体视觉的关键深度信息的技术，匹配精度决定了深度信息恢复的精密匹配算法与稀疏匹配算法[13]。其中稠密匹配算法也虑每一个待匹配点的邻域特点，寻找空间点在两个图像得到图像的稠密视差图；稀疏匹配算法也被称为基于像的特征进行匹配，如边缘、轮廓、角点等，匹配后可基于特征的稀疏匹配法具有鲁棒性高、匹配运算快等特高精度的三维重建需求。稠密匹配算法可以精确地得到法复杂、实时性差，如何改善这些缺点、提升精度速度

标定与校正定是双目立体成像的关键步骤。具体需要标定的参数机内参数矩阵和畸变系数矩阵能够经过单目标定过像机旋转系数矩阵和平移系数矩阵）必须通过双目标觉的基本任务就是将双目相机拍摄的两张图片转换为完成立体匹配与深度计算。因此，获取双目相机的。虽然多种标定方法已经提出，但张正友棋盘格标定算法。盘格标定标定板见图 2.7。该标定板是型号为 LGP290-12×9 是氧化铝面板，采用高精密的加工工艺，热膨胀系板外形尺寸为 290mm×230mm，方格边长 20mm，黑白

【相似文献】

相关期刊论文 前10条

1 许静;;双目立体视觉在虚拟钢琴中的应用[J];电视技术;2018年08期

2 叶锦华;吴海彬;陈天炎;;移动机器人双目立体视觉测量系统研究[J];测控技术;2008年09期

3 吴彰良;卢荣胜;胡鹏浩;米永奇;;双目立体视觉传感器精度分析与参数设计[J];郑州轻工业学院学报;2006年03期

4 黄鹏程;江剑宇;杨波;;双目立体视觉的研究现状及进展[J];光学仪器;2018年04期

5 尹世和;梁玉;韦鸿钰;杨煜;马稚昱;;基于双目立体视觉的植株生长状态无损监测方法的研究[J];现代农业装备;2014年03期

6 韩峻峰;王帅;;基于双目立体视觉技术的汽车测距系统实现[J];计算机应用与软件;2016年09期

7 张瑞峰;张肖萌;;基于虚拟双目立体视觉的空间圆柱轴线测量[J];仪表技术与传感器;2013年02期

8 李自力,夏学知,刘玉亮,彭复员,石雄;9自由度会聚双目立体视觉的虚拟飞行导航[J];系统仿真学报;2005年02期

9 乔德军;张延军;石磊娜;;基于遗传算法双目立体视觉传感器的优化设计[J];湖南师范大学自然科学学报;2014年06期

10 曾日金;袁华;;双目立体视觉的障碍物检测方法综述[J];大众科技;2014年03期

相关会议论文 前10条

1 李东;王金海;留盼;;基于双目立体视觉的电子导盲系统中提取环境深度方法的研究[A];天津市生物医学工程学会第三十三届学术年会论文集[C];2013年

2 孙浩;周石琳;邹焕新;王程;;基于车载双目立体视觉的运动障碍检测[A];2013年中国智能自动化学术会议论文集（第五分册）[C];2013年

3 彭永石;;基于双目立体视觉的番茄三维信息的测量方法[A];2007年中国农业工程学会学术年会论文摘要集[C];2007年

4 李华;;一个基于双目立体视觉的便携式三维扫描仪[A];中国图象图形学学会立体图象技术专业委员会学术研讨会论文集（第三期）[C];2009年

5 严雪梅;戴宁;崔海华;程筱胜;;基于单幅彩色图像的双目立体视觉测量匹配算法[A];第五届全国几何设计与计算学术会议论文集[C];2011年

6 于英;黄桂平;邢坤;;双目立体视觉测量中相对定向的直接解法[A];2009年先进光学技术及其应用研讨会论文集（上册）[C];2009年

7 郝晓辰;刘爽;张强;李海滨;刘彬;;双目立体视觉测量模型与同名点匹配研究[A];第七届青年学术会议论文集[C];2005年

8 郑伟龙;王志勇;王世斌;李林安;李鸿琦;;颈椎三维运动测量及生物力学特性研究[A];第十五届北方七省市区力学学术会议论文集[C];2014年

9 蒋山平;杨林华;张鹏嵩;张博伦;王丹艺;;大型伞天线真空低温变形摄影测量技术[A];第十六届全国光学测试学术交流会摘要集[C];2016年

10 金伟;吕乃光;邓文怡;;大尺寸空间中自动获取测量目标点的新方法[A];2004全国测控、计量与仪器仪表学术年会论文集（下册）[C];2004年

相关重要报纸文章 前1条

1 中国青年报·中青在线记者 胡春艳;科技就像魔法棒点亮每个人的生活[N];中国青年报;2018年

相关博士学位论文 前10条

1 崔恩坤;高精度双目立体视觉测量系统关键技术研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2018年

2 周艳青;基于双目立体视觉的羊体尺参数提取及三维重构的研究[D];内蒙古农业大学;2018年

3 罗桂娥;双目立体视觉深度感知与三维重建若干问题研究[D];中南大学;2012年

4 孙曦;基于双目立体视觉的人脸三维重建与识别[D];中国科学技术大学;2011年

5 韩慧妍;基于双目立体视觉的三维模型重建方法研究[D];中北大学;2014年

6 赖小波;机器人双目立体视觉若干关键理论问题及其技术实现研究[D];浙江大学;2010年

7 刘斌;基于双目立体视觉的大锻件尺寸在位测量关键技术研究[D];燕山大学;2010年

8 王振兴;船舶曲板成形双目立体视觉在位检测技术研究[D];上海交通大学;2015年

9 项荣;开放环境中番茄的双目立体视觉识别与定位[D];浙江大学;2013年

10 彭祺;基于模式识别的双目立体视觉匹配研究[D];武汉大学;2013年

相关硕士学位论文 前10条

1 岳志强;基于CNN的双目立体视觉三维实时重建算法研究[D];沈阳工业大学;2019年

2 高峰;基于双目立体视觉的障碍物检测技术研究与实现[D];北京邮电大学;2019年

3 杨其昌;双目立体视觉手眼标定技术研究[D];深圳大学;2018年

4 习路;基于多尺度与卷积神经网络的双目立体视觉研究[D];武汉理工大学;2018年

5 陈帅;利用动态位移信息的全场动应变测量方法研究[D];合肥工业大学;2018年

6 吴杭姿;膜结构风振响应的双目立体视觉观测技术研究[D];哈尔滨工业大学;2017年

7 刘海龙;基于双目立体视觉的电力仪表定位与抓取系统研究[D];哈尔滨工业大学;2018年

8 牛雄飞;基于FPGA的双目立体视觉加速器设计[D];北京交通大学;2018年

9 王群;基于双目立体视觉的轨道入侵物识别技术研究[D];北京交通大学;2018年

10 张强;基于双目立体视觉的三维特征点测量方法研究[D];吉林大学;2018年

本文编号：2808914