双目相机结合结构光的三维内窥镜成像与融合技术研究
发布时间：2021-07-30 13:16
随着科学技术的发展,三维内窥镜对提高微创手术的成功率变得至关重要,利用三维内窥镜获得手术场景的三维信息,提供给诊疗者可以有效缩短术后恢复周期和提高手术成功率。本文主要针对双目电子内窥镜设计了一套基于结构光的三维场景重建方案和三维融合方案。搭建的三维内窥镜成像系统由结构光生成与照明模块,双目内窥镜模块,图像获取、显示模块与后端处理模块组成。本文明确内窥镜相机的数学模型和误差模型,利用OpenCV库标定得到双目的内部参数和外部参数,获取刚体内窥镜的双目位姿关系。针对体内环境弱纹理的特性,本文以伪随机编码方法设计了三种基于空域散斑编码结构光,对已经实现标定后的双目摄像机,利用半全局块匹配算法SGBM,在近距离小视场场景下得到对应深度图并进行探究讨论。在对整体深度图的测量的实验中,所设计的三种结构光均能够得到相对于无结构光更平滑完整的深度图。对于几乎无纹理的纸面,16×16码元的结构光的深度图与对应距离拟合平面的误差均值最低可达到0.38mm,误差均方根最低可达到0.54mm。利用散斑空间结构缩小半全局匹配算法中的视差搜索范围,通过验证,提高了深度图的精度并缩短了代价匹配时间。相比无结构光的深...
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
图１．３斯特拉斯堡大学课题组所采用的Ｍ阵列结构光??
浙江大学硕士学位论文?绪论??０ＲＢ－ＳＬＡＭ２和半全局块匹配算法ＳＧＢＭ实现双目稠密匹配，对原本仅能实现稀疏重建??的０ＲＢ－ＳＬＡＭ２算法进行了改进，重建点云由原本的６７５０个表面点云提升到了?１０６２５个，??且对于烟雾环境下的三维重建仍具有很强的鲁棒性。??龜??图１．５利用ＯＲＢ－ＳＬＡＭ２＋ＳＧＢＭ算法实现人体内脏糢型的三维重建结果??１．２三维融合技术发展现状??现今微创手术对于临床诊断仍有许多缺点，比如说缺少深度感知，由于视野受限工作??区缺少定位信息１２９１等。在术中的３Ｄ重建手术场景并实时定位可以提供绐外科医生关键信??息。通过柔性内窥镜提供术中导航，未来可以ＡＲ形式在术前提供患者生理信息。由于视??场较小且体内环境原因，通常视场内的内窥镜观测得到的三维重建结果具有不连续的视觉??死区和无法从各个角度观测当前观察对象的全部信息。因此，单一视场的三维重建会限制??医生的观察，为了得到完整视场内的观察结果，需要将内窥镜移动时所得到的所有的图像??通过矩阵变换关系转移到世界坐标系下配准，以点云形式则可以称为三维点云融合。其中，??三维融合根据特征选取对象可分为基于３Ｄ点云特征以及迭代最近点（Ｉｔｅｒａｔｉｖｅ?Ｃｌｏｓｅｓｔ?Ｐｏｉｎｔ，??ＩＣＰ）方法。??１．２．１基于３Ｄ点云特征的三维融合??由于常见的基于结构光的深度图得到的点云中点与点之间没有拓扑关系，因此寻找对??应关系需要额外对点云完成特征描述，这些特征主要是基于曲率和法线这两点。２０１９年，??李强１％］等人基于改进八叉树算法基于多特征实现了三维点云融合，基于点的主曲率、平均??曲率、高斯曲率等特征对不规则物体的局部曲面实现拟合，以寻找对应
浙江大学硕士学位论文?三维内窥镱成像系统整体方案??第２章三维内窥镜成像系统整体方案??本论文主要关注的点是三维内窥镜成像系统，故搭建了一套在近距离范围内适用于三??维测量重建实验的双目－投影仪系统以及对应的适用于三维融合的实验平台。??２．１系统总体简介??如图２．１所示，双目－投影仪系统大致可以分为主要分成以下几个模块：结构光生成与??照明模块，双目内窥镜模块，图像获娶显示模块与后端处理模块。其中投影仪和外接光??源负责结构光的生成与照明、计算机负责图像的获娶显示和处理模块。??被１ｘ双目１＿＿图像采￣￣??测内窥镜模块匕－＞集模块??％?－ｊｊ－??体?，?ｖ???表＾?结构光?图像显??面＾生成模块?示模块??图２．１基于结构光的内窥镜三维测量系统结构框图??图２．２基于结构光的内窥镋三维测量系统??作为照明模块，使用了一台专用于生成结构光的投影仪，且为了保证实验的基本照度，??还预备了实验用的冷光源。在投影结构光码元较小而码元间隔较大的情况时，由于次波源??［５Ｇ］的影响，投影仪整体的亮度会降低，这时候就需要额外光源来提升实验场景的亮度。内??窥镜模块使用双目镜头，已得到由物体表面所反射调制后的结构光。图像获取则是利用电??路板通过ＵＳＢ接口以模数转换的方式将数据传输到计算机处理，再经由计算机传输至显??８??
【参考文献】：
期刊论文
[1]基于曲率信息的人工蜂群点云配准算法[J]. 付鲲,陈雷. 计算机应用研究. 2020(04)
博士论文
[1]基于结构光的快速高精度深度感知[D]. 张越一.中国科学技术大学 2015
[2]面向主从式微创外科手术机器人的遥操作运动控制策略研究[D]. 唐奥林.上海交通大学 2014
硕士论文
[1]基于多约束八叉树和多重特征的点云配准算法[D]. 李强.太原理工大学 2019
[2]基于ORB-SLAM2的医学影像三维重建[D]. 王博闻.中北大学 2019
本文编号：3311473
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
图１．３斯特拉斯堡大学课题组所采用的Ｍ阵列结构光??
浙江大学硕士学位论文?绪论??０ＲＢ－ＳＬＡＭ２和半全局块匹配算法ＳＧＢＭ实现双目稠密匹配，对原本仅能实现稀疏重建??的０ＲＢ－ＳＬＡＭ２算法进行了改进，重建点云由原本的６７５０个表面点云提升到了?１０６２５个，??且对于烟雾环境下的三维重建仍具有很强的鲁棒性。??龜??图１．５利用ＯＲＢ－ＳＬＡＭ２＋ＳＧＢＭ算法实现人体内脏糢型的三维重建结果??１．２三维融合技术发展现状??现今微创手术对于临床诊断仍有许多缺点，比如说缺少深度感知，由于视野受限工作??区缺少定位信息１２９１等。在术中的３Ｄ重建手术场景并实时定位可以提供绐外科医生关键信??息。通过柔性内窥镜提供术中导航，未来可以ＡＲ形式在术前提供患者生理信息。由于视??场较小且体内环境原因，通常视场内的内窥镜观测得到的三维重建结果具有不连续的视觉??死区和无法从各个角度观测当前观察对象的全部信息。因此，单一视场的三维重建会限制??医生的观察，为了得到完整视场内的观察结果，需要将内窥镜移动时所得到的所有的图像??通过矩阵变换关系转移到世界坐标系下配准，以点云形式则可以称为三维点云融合。其中，??三维融合根据特征选取对象可分为基于３Ｄ点云特征以及迭代最近点（Ｉｔｅｒａｔｉｖｅ?Ｃｌｏｓｅｓｔ?Ｐｏｉｎｔ，??ＩＣＰ）方法。??１．２．１基于３Ｄ点云特征的三维融合??由于常见的基于结构光的深度图得到的点云中点与点之间没有拓扑关系，因此寻找对??应关系需要额外对点云完成特征描述，这些特征主要是基于曲率和法线这两点。２０１９年，??李强１％］等人基于改进八叉树算法基于多特征实现了三维点云融合，基于点的主曲率、平均??曲率、高斯曲率等特征对不规则物体的局部曲面实现拟合，以寻找对应
浙江大学硕士学位论文?三维内窥镱成像系统整体方案??第２章三维内窥镜成像系统整体方案??本论文主要关注的点是三维内窥镜成像系统，故搭建了一套在近距离范围内适用于三??维测量重建实验的双目－投影仪系统以及对应的适用于三维融合的实验平台。??２．１系统总体简介??如图２．１所示，双目－投影仪系统大致可以分为主要分成以下几个模块：结构光生成与??照明模块，双目内窥镜模块，图像获娶显示模块与后端处理模块。其中投影仪和外接光??源负责结构光的生成与照明、计算机负责图像的获娶显示和处理模块。??被１ｘ双目１＿＿图像采￣￣??测内窥镜模块匕－＞集模块??％?－ｊｊ－??体?，?ｖ???表＾?结构光?图像显??面＾生成模块?示模块??图２．１基于结构光的内窥镜三维测量系统结构框图??图２．２基于结构光的内窥镋三维测量系统??作为照明模块，使用了一台专用于生成结构光的投影仪，且为了保证实验的基本照度，??还预备了实验用的冷光源。在投影结构光码元较小而码元间隔较大的情况时，由于次波源??［５Ｇ］的影响，投影仪整体的亮度会降低，这时候就需要额外光源来提升实验场景的亮度。内??窥镜模块使用双目镜头，已得到由物体表面所反射调制后的结构光。图像获取则是利用电??路板通过ＵＳＢ接口以模数转换的方式将数据传输到计算机处理，再经由计算机传输至显??８??
【参考文献】：
期刊论文
[1]基于曲率信息的人工蜂群点云配准算法[J]. 付鲲,陈雷. 计算机应用研究. 2020(04)
博士论文
[1]基于结构光的快速高精度深度感知[D]. 张越一.中国科学技术大学 2015
[2]面向主从式微创外科手术机器人的遥操作运动控制策略研究[D]. 唐奥林.上海交通大学 2014
硕士论文
[1]基于多约束八叉树和多重特征的点云配准算法[D]. 李强.太原理工大学 2019
[2]基于ORB-SLAM2的医学影像三维重建[D]. 王博闻.中北大学 2019
本文编号：3311473
本文链接：https://www.wllwen.com/kejilunwen/yiqiyibiao/3311473.html
