基于多模态医学图像的Alzheimer病分类方法

发布时间：2021-06-19 22:06

　　多模态医学影像信息已经在计算机辅助检测和诊断中被广泛地应用。在对Alzheimer病（Alzheimer’s disease, AD）的分类与诊断中,结合多个模态医学影像的特征信息能够更加准确且全面地对同一AD主题进行分类与诊断。该文提出了一种基于卷积神经网络的模型结构,分别对AD病患的磁共振图像（MRI）和正电子发射型计算机断层显像（PET）图像进行3D卷积操作来提取各自模态的特征信息,并应用模型融合方法对模态特征信息加以融合,从而得到包含更加丰富的多模态特征信息。最后用全连接神经网络将上述提取的多模态特征信息进行分类预测。通过在AD神经影像学倡议（Alzheimer’s disease neuroimaging initiative, ADNI）公开数据集上的实验结果表明:该文所提出的模型在准确率（accuracy, ACC）和曲线下面积（area under the curve, AUC）的性能评价中都取得了更加优越的结果。 

【文章来源】：清华大学学报(自然科学版). 2020,60(08)北大核心EICSCD

【文章页数】：9 页

【部分图文】：

整体流程示意图

值得注意的是, 此模型块的所有卷积操作中, 卷积核移动的步长均为1, 填充方式为SAME。 3D卷积操作中s表示卷积核尺寸, k表示卷积核个数, 模型中激活函数都选用ReLU。 在3D池化层中, 池化方式选择最大池化, s表示池化操作的步长。 3D VGGNet模型块输入为1×128×128×128的单模态图像(预处理后的MRI图像或预处理后的FDG-PET图像)。 经过图1的14层卷积池化等操作和1层Flatten()操作后输出为1×32 768的特征向量。 此特征向量为单模态图像的特征向量, 同理可分别取得MRI图像的特征向量和FDG-PET图像的特征向量。 此模型块的目的在于用来提取单个模态图像特征信息, 且它既继承VGGNet框架简洁和训练参数量低的模型优点, 又能够对三维图像特征信息做到全面且准确地捕捉。通过3D VGGNet模型块分别提取MRI图像和FDG-PET图像的特征后, 本文将2个模态的特征进行融合, 模型结构上的操作为将2个3D VGGNet模型块进行模型融合进而组合成1个整体的模型架构, 如图2所示为模型特征融合的整体流程示意图。 从特征数量上分析, 是将2个特征数量为1×32 768特征向量同向拼接为1个融合向量, 融合后的特征向量为1×65 536, 此融合向量作为最终的多模态特征向量, 同时将其作为输入, 随后用2层传统的深度全连接神经网络做最后的分类检测。 将2个模型向量进行朴素地同轴拼接成1个单一向量的理由在于, 模型随后进行的是全连接网络, 即每个特征值都将与下层神经元带权重地进行连接, 因此不会忽视或减弱特征信息的关联性。 本文采用模型整体反向传播算法方式进行学习训练, 即将2个模型部分融合成为单一整体的网络模型架构, 所以采取整体构建网络模型后统一训练的方式进行训练。 无论是在二分类任务还是三分类任务中,模型第一部分的特征提取所使用的3D VGGNet模型块结构不变, 融合后的特征均为1×65 536, 之后紧接着1个隐层, 隐层的神经元节点个数为256; 通过这个隐层的传递后最终连接节点个数为2的softmax层作为二分类任务, 或是节点个数为3的softmax层作为三分类任务。

AD∶NC的训练ACC、 测试ACC和测试AUC


本文编号：3238628