基于深度学习的跨模态医学图像转换

发布时间：2021-08-24 16:45

　　运用深度学习的方法基于脑部CT扫描图像合成相应的MRI。将28例患者进行颅脑CT和MRI扫描得到的CT和MRI的断层图像进行刚性配准,随机选取20例患者的图像输入U-Net卷积神经网络进行训练,利用训练好的网络对未参与训练的8例患者的CT图像进行预测,得到合成的MRI。研究结果显示:通过对合成的MRI进行定量分析,利用基于L2损失函数构建的U-Net网络合成MRI效果良好,平均绝对平均误差（MAE）为47.81,平均结构相似性指数（SSIM）为0.91。本研究表明可以利用深度学习方法对CT图像进行转换,获得合成MRI,现阶段可以达到扩充MRI医学图像数据库的目的,随着合成图像精度的提高,可以用于帮助诊断等临床应用。 

【文章来源】：中国医学物理学杂志. 2020,37(10)CSCD

【文章页数】：5 页

【部分图文】：

合成MRI流程图

U-Net的设计结构如图2所示。网络总共包含9部分，其中前5部分用于特征提取，后4部分设计为上采样。为了增加模型的非线性，提取数据更高维度的特征，在特征提取和上采样过程中，每一部分U-Net结构中卷积设计均采用两个卷积计算连用的形式。最后一部分设计略有不同，增加了一步卷积核长度为1卷积计算。具体卷积计算设计如下：在特征提取部分采用3×3卷积核，卷积步长为1，池化层步长为2进行特征提取；上采样部分为了恢复图像尺寸采用2×2卷积核，卷积步长为1进行逆卷积计算。第一部分是两个卷积连用提取特征，其他部分是步长为2的池化层后面连续进行两个卷积计算。网络均基于Py Torch[15]库设计，采用内存为12 GB的NVIDIA TITAN X进行训练。在U-Net训练过程中使用采用均方损失（MSE Loss）函数验证准确率，使用ADAM梯度下降算法[16]，随着训练周期降低学习率。为了加快训练速度，通过4进程来导入数据。训练批处理参数设置为16，测试批处理参数设置为1。

对测试结果与标准图像成像分析如图3所示，从左至右为输入的标准CT图像、标准MRI、合成MRI和标准MRI与合成MRI之间的差值。将合成MRI与标准CT图像对比，观察颅内软组织区域可以看出所设计的U-Net网络能够做到在CT图像中区分具有相似像素强度的不同解剖结构，如骨骼、脑回和脑部软组织。2.2 定量结果

【参考文献】：
期刊论文
[1]多模态深度学习综述[J]. 刘建伟,丁熙浩,罗雄麟.  计算机应用研究. 2020(06)
[2]跨模态医学图像预测综述[J]. 周沛,陈后金,于泽宽,彭亚辉,李艳凤,杨帆.  电子学报. 2019(01)



本文编号：3360356