面向机器人辅助微创手术的单目重建和语音控制研究

发布时间：2023-12-10 18:25

　　在微创手术中,主刀医生需要助理医生手持内窥镜以获取手术视野。一方面内窥镜传输的二维图像缺少深度信息,医生无法直观地获取良好的手术场景,另一方面助理医生和主刀医生协同动作的不一致会增加手术难度甚至引发安全事故。而随着机器人技术的发展,应用于医疗领域的手术机器人越来越普及,手术机器人可以代替医生完成一些繁琐耗体力的操作,减轻手术难度的同时提高手术的安全性。本文以机器人辅助微创手术为研究背景,搭建一套基于语音控制的手术机器人三维成像系统,利用单目图像序列恢复软组织的三维结构从而为医生提供直观的手术场景,同时提出了一种基于语音指令的手术机器人控制方法解决助理医生与主刀医生配合不协调的问题,在一定程度上提高手术的安全性。利用单目内窥镜采集的图像序列恢复软组织的三维模型是手术机器人三维成像系统的核心任务。本文利用单目相机从多个位置拍摄体外软组织图像,分析软组织图像特征信息并提出一种低分辨率特征筛选与级联哈希搜索的图像特征匹配策略,提高了特征匹配运算效率。在得到软组织的三维点云模型后,本文进一步实现了点云的稠密化和网格化处理,将无序的点云转化成具有拓扑结构的表面网格模型。为了提高软组织重建模型的真实...

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题来源及研究意义
        1.1.1 课题来源
        1.1.2 研究背景和意义
    1.2 国内外研究现状
        1.2.1 医疗手术机器人研究现状
        1.2.2 基于图像序列的三维重建研究现状
        1.2.3 语音识别研究现状
    1.3 国内外文献综述及简析
    1.4 本文主要研究内容
第2章 基于图像特征的三维成像系统概述
    2.1 引言
    2.2 三维成像系统总体方案设计
    2.3 稀疏点云重建相关理论研究
        2.3.1 图像特征的提取
        2.3.2 图像特征匹配
        2.3.3 相机模型
        2.3.4 对极几何和基础矩阵
        2.3.5 运动参数估计和本质矩阵
        2.3.6 三角量测
    2.4 三维模型的表达方式
    2.5 本章小结
第3章 基于图像序列的三维重建系统设计
    3.1 引言
    3.2 三维重建系统模块设计
    3.3 稀疏点云重建
        3.3.1 图像特征提取和匹配
        3.3.2 基于级联哈希的图像特征匹配算法
        3.3.3 特征轨迹三角化重建
    3.4 点云模型稠密化
    3.5 点云模型网格化
    3.6 纹理映射
        3.6.1 视图选择
        3.6.2 缝隙消除
    3.7 本章小结
第4章 基于混合神经网络的语音识别方法
    4.1 引言
    4.2 语音识别算法框架
    4.3 语音特征提取与端点检测
    4.4 基于混合神经网络的语音识别模型
        4.4.1 神经网络概述
        4.4.2 数据集获取
        4.4.3 语音识别网络结构和损失函数
        4.4.4 网络训练过程和结果分析
    4.5 本章小结
第5章 手术机器人三维成像系统实验
    5.1 引言
    5.2 三维重建系统实验研究
        5.2.1 特征提取和匹配实验
        5.2.2 三维重建实验
    5.3 语音控制系统实验
        5.3.1 实验平台的搭建
        5.3.2 基于混合神经网络的语音识别实验
        5.3.3 机械臂语音控制实验
    5.4 语音控制机械臂模式下的三维重建实验
    5.5 本章小结
结论
参考文献
致谢



本文编号：3872903