基于力反馈的个性化外科虚拟现实手术仿真培训系统关键技术研究

发布时间：2020-09-01 07:43

　　随着科学技术的日益发展,虚拟现实技术(Virtual Reality,VR)正成为计算机辅助手术的重要组成部分,它给传统医学手术培训带来了颠覆性的变革。虚拟现实手术仿真系统综合了生物医学、计算机图形图像学、数学、机械动力学等多个学科领域的知识。利用力触觉技术和视觉沉浸技术,能方便地为用户营造一个视觉和力触觉融合的虚拟环境,可以对目标模型进行手术仿真,有利于医生对病灶进行观察研究,制定合理的手术操作路径,方便进行术前模拟,同时也有利于医学学生或者新手外科医生进行手术培训,有助于使用者了解手术流程和手术要领,提升使用者的手术操作水平。本文中所开发的虚拟现实手术仿真培训系统(Virtual Reality-based Surgical Training Simulator,VRSTS)由硬件系统和软件系统两部分组成。硬件部分包括力反馈仪器Omega.6、沉浸式平台和高性能图形工作站,用于提供视觉和力触觉交互。软件部分基于计算机视觉和触觉类库CHAI3D、计算机图形学类库VTK和用户图形界面类库Qt进行开发。系统采用力触觉和视觉分离的多线程编程技术,以满足视觉和力触觉进程中刷新频率不同的要求。本文对视觉渲染引擎OpenGL的工作流程进行了分析,研究了OpenGL环境下模型的平移、缩放、旋转的变换矩阵。基于目标模型与手术工具的AABB包围盒,构建了多层次的包围树模型,实现了实时碰撞检测算法。针对手术目标模型网格粗糙或者不光滑的情况,提出了空间Hermite插值和Loop网格细分算法,经过网格细分以后,手术模型操作区域的网格更加光滑平顺,有利于实现良好的视觉仿真效果。根据手术对象的组织密度、组织厚度和手术操作的速度与深度等因素,构建了触觉反馈力的本构方程,力反馈效果较为接近真实手术的实际情形。本文以钻孔和切割这两种具有代表性的手术操作为切入点,进行了手术仿真的研究分析。首先,提出了复杂手术工具的约束算法,以将自由移动的手术工具约束到手术操作的指定方向,从而有效防止因为碰撞检测反馈力而引起的手术工具无序跳动。在此基础上,提出了一种钻孔形变控制算法,并根据手术实际需要,实现了逐级扩孔功能,可以对不同孔径、不同转速下的多次钻孔操作进行仿真。基于面片剖分法和顶点移动法的网格切分和重建过程,实现了切割手术操作仿真。针对医学图像三维重建的另一种关键方法——体绘制重建技术,本文采用光线投射法对模型进行了三维可视化重建,并利用单元去除法对体绘制重建模型进行了钻孔和切割操作的仿真实验。综上所述,本文开发实现了一种虚拟现实手术仿真培训系统,该系统具有较为良好的人机界面交互友好性、操作便利性以及视觉和力触觉反馈的逼真性。通过对专家学者和医学学生在试用本系统后的反馈信息进行分析,表明本系统在推广性、实用性、易用性、视觉与力触觉真实性方面表现良好,可以作为医学学生培训的工具,有助于医学数字化发展,具有较为重要的临床应用价值。
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2017
【中图分类】：TP391.9;TH77

【相似文献】