基于深度学习的人体狭窄腔道中内窥镜插管辅助决策
发布时间：2021-11-04 11:29
内窥镜插管的面临的场景为人体狭窄腔道,阴暗且缺乏纹理,难以辨识,倘若能借助计算机辅助实现插管过程的智能化,将大大提高插管的效率。由此,本文以内窥镜插管作为智能医疗的应用场景,以气管插管作为主要切入点,结合深度学习技术,对实现计算机辅助医生操作的内窥镜插管决策与无人内窥镜智能插管决策进行了研究与探索,并自行采集制作了一套与本文研究工作相关的数据集。总的来说,全文主要研究工作如下:针对传统的基于三维重建的内窥镜辅助方法在实时气管插管决策等场景下使用不便的问题,提出了一种基于深度学习的端到端内窥镜辅助决策方法,设计了一套离散的内窥镜插管移动方向操作指令集,搭建网络将插管辅助决策问题映射为图像分类问题。分类网络有两个输出分支,分别完成插管过程的终点判断决策与前进方向决策。该方法在前进方向决策任务上具有较高的准确率,为96.51%,在终点判断决策任务上准确率略低,为91.25%。针对端到端方法处理决策流程的“不透明”与较低的可解释性,本文提出了一种基于目标点检测的内窥镜智能插管决策方法。该方法将整个内窥镜插管决策过程显式的分为感知和决策两部分,先通过目标点感知网络输出视频帧中的目标前进位置坐标点...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
一整套的电子纤支镜设备示意图
第二章内窥镜插管辅助决策方法探究图2-2通过气管镜拍摄到的人体会厌下部接近声门部位影像形，而发声时，声门闭合呈“I”形。声门位于喉腔，通过声门后即为气管，同时，由于人体内光线阴暗，因此声门后的气管在这个场景下拍摄的图像中RGB值会偏低，视野呈现近似的黑色，因此，操作人员可从这两个方面推断出内窥镜前进的目标位置，并通过大脑形成操作指令反馈来操作内窥镜。2.4内窥镜插管辅助决策基本方案简述由于操作内窥镜的过程中需要通过视觉来获取信息，因此，采用基于计算机视觉的方法不失为一种最佳选择。现如今，在计算机视觉领域，像内窥镜插管这样对于物体在某一场景下进行移动的辅助与导航主要有两类方法，第一类是基于VisualSLAM即视觉SLAM的方法，第二种是基于深度学习的方法。下文将对两种方法做一个基本的阐释，并解释本文为何采用基于深度学习的方法。2.4.1基于视觉SLAM的方法简述SLAM的全称为simultaneouslocalizationandmapping，中文译为即时定位与地图建模，同时，其也被称为CML（ConcurrentMappingandLocalization），即并发建图与定位，是目前机器人技术领域所面临的基本挑战之一。其目的为在构建地图环境的时候同时确定机器人在地图中的位置信息[22]。我们可以这样对SLAM进行一个详细的描述：SLAM是一个可移动的机器人建立一个环境地图的过程，同9
ǖ闹饕?ぷ魇歉?俸陀?射特征点，适用于有纹理或是有较强特征的图片，ORB-SLAM是其代表[26]。半直接法与直接法的代表系统实现分别为VINS[27]以及DSO[28]。此外，比较有名的系统实现还有monoSLAM[29]和PTAM[30]。视觉SLAM系统框架一般由如下五个模块组成：传感器数据处理（SensorDataProcess）、视觉里程计（VisualOdometry）、后端优化（BackendOptimization）、回环（LoopClosure）以及建图（Mapping）。五个模块组成的框架运行流程如图2-3所示:传感器数据处理模块的主要任务是读取和预处理传感器捕获的相机图像信息。视图2-3SLAM框架运行流程示意图觉里程计又称为前端，它的主要任务是通过图像数据输入来估计相机运动，并从中恢复场景的空间结构，每次输出帧与帧之间的位姿变化。称它为里程计是因为它只计算相邻时刻的运动，和时间轴上的过去的信息没有关联。机器人的运动轨迹可以通过串联相邻帧之间机器人的运动信息来得到，而地图则可以通过计算各个像素在每一时刻对应空间点的位置得到。如前文所述，这个部分的实现有多种不同的方法，目前基于特征的方法是主流方法，主要分为特征提取（如SIFT、SURF等）、特征匹配（如KNN）、估计帧间运动（如PnP）三个步骤，除此之外还有直接法与半稠密的方法。处理SLAM过程中的一些噪声问题是后端优化的负责完成的主要任务，前端所提供的数据，经由后端使用滤波（如卡尔曼滤波[31]）或者是优化算法（目前比较主流的是基于全局优化的算法）来优化整个的视觉SLAM系统。而回环检测这个模块，其任务是辨识机器人到达过的区域，主要是为了解决视觉里程计中的累积漂移问题。建图模块的部分就是输出相应的SLAM所需的地图，目前主要的地图输出类型有两类，一类是几何地图（metricmap），比较重视元素之间的位姿关
【参考文献】：
期刊论文
[1]隧洞移动机器人里程计激光雷达融合定位[J]. 谢勇,刘晓日,汪晓波,王斌锐. 科技通报. 2020(01)
[2]上消化道疾病人工智能辅助决策方法研究[J]. 李玲,丁帅,李霄剑,杨善林. 中国管理科学. 2019(11)
[3]基于SLAM模式的自动驾驶感知教学[J]. 刘彦博,黄宏成,时良仁,许敬. 当代教育实践与教学研究. 2019(21)
[4]基于SLAM的AR电缆头制作辅助系统研究与设计[J]. 冯伟夏,郭建龙,熊山,刘晓,郝腾飞. 自动化与仪器仪表. 2019(09)
[5]一种低成本的机器人室内可通行区域建模方法[J]. 张釜恺,芮挺,何雷,杨成松. 北京航空航天大学学报. 2019(12)
[6]基于增强现实的鼻内窥镜手术导航系统[J]. 臧晓军,翁冬冬,王涌天,刘越. 北京理工大学学报. 2010(01)
[7]内窥镜发展史[J]. 吕平,刘芳,吕坤章,戚昭恩. 中华医史杂志. 2002(01)
[8]影像导航系统在鼻内窥镜手术中的应用[J]. 韩德民,周兵,葛文彤,张罗,张永杰. 中华耳鼻咽喉科杂志. 2001(02)
博士论文
[1]医疗内窥镜视觉导航技术研究[D]. 张震.上海大学 2006
硕士论文
[1]基于ORB-SLAM2的医学影像三维重建[D]. 王博闻.中北大学 2019
[2]智能内窥镜微创手术器械导航研究与实现[D]. 冯明亮.西安电子科技大学 2008
本文编号：3475636
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
一整套的电子纤支镜设备示意图
第二章内窥镜插管辅助决策方法探究图2-2通过气管镜拍摄到的人体会厌下部接近声门部位影像形，而发声时，声门闭合呈“I”形。声门位于喉腔，通过声门后即为气管，同时，由于人体内光线阴暗，因此声门后的气管在这个场景下拍摄的图像中RGB值会偏低，视野呈现近似的黑色，因此，操作人员可从这两个方面推断出内窥镜前进的目标位置，并通过大脑形成操作指令反馈来操作内窥镜。2.4内窥镜插管辅助决策基本方案简述由于操作内窥镜的过程中需要通过视觉来获取信息，因此，采用基于计算机视觉的方法不失为一种最佳选择。现如今，在计算机视觉领域，像内窥镜插管这样对于物体在某一场景下进行移动的辅助与导航主要有两类方法，第一类是基于VisualSLAM即视觉SLAM的方法，第二种是基于深度学习的方法。下文将对两种方法做一个基本的阐释，并解释本文为何采用基于深度学习的方法。2.4.1基于视觉SLAM的方法简述SLAM的全称为simultaneouslocalizationandmapping，中文译为即时定位与地图建模，同时，其也被称为CML（ConcurrentMappingandLocalization），即并发建图与定位，是目前机器人技术领域所面临的基本挑战之一。其目的为在构建地图环境的时候同时确定机器人在地图中的位置信息[22]。我们可以这样对SLAM进行一个详细的描述：SLAM是一个可移动的机器人建立一个环境地图的过程，同9
ǖ闹饕?ぷ魇歉?俸陀?射特征点，适用于有纹理或是有较强特征的图片，ORB-SLAM是其代表[26]。半直接法与直接法的代表系统实现分别为VINS[27]以及DSO[28]。此外，比较有名的系统实现还有monoSLAM[29]和PTAM[30]。视觉SLAM系统框架一般由如下五个模块组成：传感器数据处理（SensorDataProcess）、视觉里程计（VisualOdometry）、后端优化（BackendOptimization）、回环（LoopClosure）以及建图（Mapping）。五个模块组成的框架运行流程如图2-3所示:传感器数据处理模块的主要任务是读取和预处理传感器捕获的相机图像信息。视图2-3SLAM框架运行流程示意图觉里程计又称为前端，它的主要任务是通过图像数据输入来估计相机运动，并从中恢复场景的空间结构，每次输出帧与帧之间的位姿变化。称它为里程计是因为它只计算相邻时刻的运动，和时间轴上的过去的信息没有关联。机器人的运动轨迹可以通过串联相邻帧之间机器人的运动信息来得到，而地图则可以通过计算各个像素在每一时刻对应空间点的位置得到。如前文所述，这个部分的实现有多种不同的方法，目前基于特征的方法是主流方法，主要分为特征提取（如SIFT、SURF等）、特征匹配（如KNN）、估计帧间运动（如PnP）三个步骤，除此之外还有直接法与半稠密的方法。处理SLAM过程中的一些噪声问题是后端优化的负责完成的主要任务，前端所提供的数据，经由后端使用滤波（如卡尔曼滤波[31]）或者是优化算法（目前比较主流的是基于全局优化的算法）来优化整个的视觉SLAM系统。而回环检测这个模块，其任务是辨识机器人到达过的区域，主要是为了解决视觉里程计中的累积漂移问题。建图模块的部分就是输出相应的SLAM所需的地图，目前主要的地图输出类型有两类，一类是几何地图（metricmap），比较重视元素之间的位姿关
【参考文献】：
期刊论文
[1]隧洞移动机器人里程计激光雷达融合定位[J]. 谢勇,刘晓日,汪晓波,王斌锐. 科技通报. 2020(01)
[2]上消化道疾病人工智能辅助决策方法研究[J]. 李玲,丁帅,李霄剑,杨善林. 中国管理科学. 2019(11)
[3]基于SLAM模式的自动驾驶感知教学[J]. 刘彦博,黄宏成,时良仁,许敬. 当代教育实践与教学研究. 2019(21)
[4]基于SLAM的AR电缆头制作辅助系统研究与设计[J]. 冯伟夏,郭建龙,熊山,刘晓,郝腾飞. 自动化与仪器仪表. 2019(09)
[5]一种低成本的机器人室内可通行区域建模方法[J]. 张釜恺,芮挺,何雷,杨成松. 北京航空航天大学学报. 2019(12)
[6]基于增强现实的鼻内窥镜手术导航系统[J]. 臧晓军,翁冬冬,王涌天,刘越. 北京理工大学学报. 2010(01)
[7]内窥镜发展史[J]. 吕平,刘芳,吕坤章,戚昭恩. 中华医史杂志. 2002(01)
[8]影像导航系统在鼻内窥镜手术中的应用[J]. 韩德民,周兵,葛文彤,张罗,张永杰. 中华耳鼻咽喉科杂志. 2001(02)
博士论文
[1]医疗内窥镜视觉导航技术研究[D]. 张震.上海大学 2006
硕士论文
[1]基于ORB-SLAM2的医学影像三维重建[D]. 王博闻.中北大学 2019
[2]智能内窥镜微创手术器械导航研究与实现[D]. 冯明亮.西安电子科技大学 2008
本文编号：3475636
本文链接：https://www.wllwen.com/yixuelunwen/mazuiyixuelunwen/3475636.html
最近更新
教材专著
