内镜图像中手术器械分割及手术钳末端位姿估计的研究

发布时间：2023-05-11 02:14

　　消化内镜微创手术器械交互安全预警系统旨在对多器械消化内镜微创手术中手术钳器械操作力的安全性进行实时监控。系统主要由肿瘤分割、手术器械分割、手术钳末端位姿估计、手术钳与软组织交互模型设计等模块构成,其中,手术器械分割与手术钳末端位姿估计是预警系统的基础和关键。然而,目前主流的语义分割网络,对内镜手术器械分割的研究较少,且大都过于片面地强调预测精度或者预测速度,缺乏对网络整体分割性能的有效平衡。另外,主流的目标估计算法大都基于CNN网络进行设计,仅能预测出表示目标整体位置的规则矩形估计框,缺乏对目标方向信息和末端位置信息的估计。而且,目前的位姿估计算法大都基于关键点检测算法设计,需要费时费力的数据集标注。首先,本文基于模拟数据集设计了一个实时高精度器械分割网络。首先搭建了一个多器械内镜微创手术模拟平台模拟手术中器械交互,然后采集、标注和增强了数据,制作了模拟数据集。最后,基于轻量级特征提取网络、注意力机制、特征金字塔网络等高性能模块设计实现了一个性能达到85%m Io U以上和40 FPS以上的实时高精度器械分割网络。其次,本文基于公开的MICCAI竞赛数据集验证了网络分割性能,并基于该数...

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题背景及研究意义
    1.2 国内外研究现状
        1.2.1 语义分割研究现状
        1.2.2 内镜医疗图像分割研究现状
        1.2.3 目标位姿估计研究现状
    1.3 课题难点
    1.4 本文的主要研究内容
第2章 高性能手术器械分割网络设计
    2.1 模拟数据集的制作
        2.1.1 多器械内镜微创手术模拟平台的搭建
        2.1.2 数据采集与预处理
    2.2 基于经典深度语义分割网络的手术器械分割
        2.2.1 高精度分割网络
        2.2.2 实时分割网络
        2.2.3 医疗图像分割网络
        2.2.4 实验结果
    2.3 高性能手术器械分割网络设计
        2.3.1 特征提取网络的轻量化设计
        2.3.2 注意力机制的引入
        2.3.3 多尺度上下文特征的提取与融合
        2.3.4 网络设计与实现
        2.3.5 实验结果
    2.4 本章小结
第3章 基于MICCAI数据集对网络的验证和改进
    3.1 网络在真实内镜图像上的有效性验证
    3.2 组合损失函数设计
        3.2.1 引入形状先验的边界损失函数设计
        3.2.2 正负难易样本平衡
        3.2.3 实验结果
    3.3 门机制特征选择
        3.3.1 横向连接引入注意力机制
        3.3.2 门控特征选择设计
        3.3.3 实验结果
    3.4 数据增强
        3.4.1 数据增强方式
        3.4.2 数据增强训练
        3.4.3 实验结果
    3.5 本章小结
第4章 高性能手术钳末端位姿估计算法设计
    4.1 基于关键点检测技术的手术钳末端位姿估计算法探讨
        4.1.1 关键点的选取
        4.1.2 基于关键点的手术钳末端位姿推理算法设计
        4.1.3 多任务学习网络设计
        4.1.4 网络分析
    4.2 基于分割图的手术钳末端位姿估计算法设计
        4.2.1 分析任务相关性
        4.2.2 手术钳最小外接矩形的获得
        4.2.3 手术钳末端位姿的确定
        4.2.4 整个手术钳末端位姿估计算法设计
        4.2.5 实验结果
    4.3 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3813951