融合型UNet++网络的超声胎儿头部边缘检测
发布时间:2021-10-07 16:47
目的超声胎儿头部边缘检测是胎儿头围测量的关键步骤,因胎儿头部超声图像边界模糊、超声声影造成图像中胎儿颅骨部分缺失、羊水及子宫壁形成与胎儿头部纹理及灰度相似的结构等因素干扰,给超声胎儿头部边缘检测及头围测量带来一定的难度。本文提出一种基于端到端的神经网络超声图像分割方法,用于胎儿头部边缘检测。方法以UNet++神经网络结构为基础,结合UNet++最后一层特征,构成融合型UNet++网络。训练过程中,为缓解模型训练过拟合问题,在每一卷积层后接一个空间dropout层。具体思路是通过融合型UNet++深度神经网络提取超声胎儿头部图像特征,通过胎儿头部区域概率图预测,输出胎儿头部语义分割的感兴趣区域。进一步获取胎儿的头部边缘关键点信息,并采用边缘曲线拟合方法拟合边缘,最终测量出胎儿头围大小。结果针对现有2维超声胎儿头围自动测量公开数据集HC18,以Dice系数、Hausdorff距离(HD)、头围绝对差值(AD)等指标评估本文模型性能,结果 Dice系数为98. 06%,HD距离为1. 21±0. 69 mm,头围测量AD为1. 84±1. 73 mm。在妊娠中期测试数据中,Dice系数为98...
【文章来源】:中国图象图形学报. 2020,25(02)北大核心CSCD
【文章页数】:12 页
【部分图文】:
超声胎儿头围测量框图
UNet++网络拓扑结构如图2所示,由编码结构、解码结构和密集跳跃连接组成。相同尺寸大小的特征图定义为同一层,自上而下分别为第1 5层,用L1 L5表示。每一个节点代表一个特征提取模块,每个特征模块由两个3×3的卷积层组成,其卷积操作之后,接修正线性单元(ReLU)。UNet++通过不同层之间由浅入深的空间信息融合,以及同一层模块之间密集跳跃连接的语义信息融合,缩短编码器与解码器之间的语义鸿沟,充分利用上下文特征,网络模型能充分有效地捕获目标的细节特征,提升分割性能。UNet++结构中,在不同网络层之间,自上而下,将编码器特征与下一层编码器上采样特征进行融合。融合后的模块输出继续与下一层相应模块上采样特征再融合,如此迭代下去,直到模块下一层没有对应的上采样模块。每一模块的输出结果为
如图2所示,在UNet++的L1层特征块中,每个特征块都包含空间信息和语义信息。对于中间层的输出特征,其定位信息比较精确,而深层的输出特征能准确获取图像像素级的类别信息。为了充分利用各输出层特征块之间信息差异,本文将UNet++模型的L1层中各特征提取模块进行特征融合,将其融合为更加丰富的特征,构成融合型UNet++网络,对融合后的输出进行深度监督,根据融合输出结果,通过反向传播算法调整网络参数,能有效提升图像分割效果,如图3所示。L1层特征融合网络结构先将L1层最后3个卷积特征块进行通道连接,再用一个卷积模块提取通道连接后的特征信息,即进行特征融合,最后输出特征融合后的预测结果。在融合型UNet++中,根据预测结果计算损失,通过反向传播,调节网络参数。这不仅影响融合特征的输出,还能通过对整体网络的参数调整,达到对浅层、中层和深层输出结果在不同程度上的优化作用。这也是融合型UNet++网络的深层输出结果优于原有UNet++网络单一深层输出结果的原因。因浅层输出预测结果十分粗糙,错误预测区域范围较大,融合该层预测信息,未能产生很好的效果。因此,本文仅选择L1层的中层与深层的特征进行融合。实验结果表明,融合型UNet++的图像分割效果好于UNet++。特别是在边缘模糊、图像中存在与胎儿头部轮廓相似结构等情况下,其图像分割区域能正确预测,减小误差。从各项评估指标比较,融合型UNet++网络较U-Net或UNet++均有明显提升。
【参考文献】:
期刊论文
[1]超声图像胎儿颅骨椭圆自动检测方法[J]. 陈凯,李胜利,唐娉. 中国图象图形学报. 2009(12)
本文编号:3422415
【文章来源】:中国图象图形学报. 2020,25(02)北大核心CSCD
【文章页数】:12 页
【部分图文】:
超声胎儿头围测量框图
UNet++网络拓扑结构如图2所示,由编码结构、解码结构和密集跳跃连接组成。相同尺寸大小的特征图定义为同一层,自上而下分别为第1 5层,用L1 L5表示。每一个节点代表一个特征提取模块,每个特征模块由两个3×3的卷积层组成,其卷积操作之后,接修正线性单元(ReLU)。UNet++通过不同层之间由浅入深的空间信息融合,以及同一层模块之间密集跳跃连接的语义信息融合,缩短编码器与解码器之间的语义鸿沟,充分利用上下文特征,网络模型能充分有效地捕获目标的细节特征,提升分割性能。UNet++结构中,在不同网络层之间,自上而下,将编码器特征与下一层编码器上采样特征进行融合。融合后的模块输出继续与下一层相应模块上采样特征再融合,如此迭代下去,直到模块下一层没有对应的上采样模块。每一模块的输出结果为
如图2所示,在UNet++的L1层特征块中,每个特征块都包含空间信息和语义信息。对于中间层的输出特征,其定位信息比较精确,而深层的输出特征能准确获取图像像素级的类别信息。为了充分利用各输出层特征块之间信息差异,本文将UNet++模型的L1层中各特征提取模块进行特征融合,将其融合为更加丰富的特征,构成融合型UNet++网络,对融合后的输出进行深度监督,根据融合输出结果,通过反向传播算法调整网络参数,能有效提升图像分割效果,如图3所示。L1层特征融合网络结构先将L1层最后3个卷积特征块进行通道连接,再用一个卷积模块提取通道连接后的特征信息,即进行特征融合,最后输出特征融合后的预测结果。在融合型UNet++中,根据预测结果计算损失,通过反向传播,调节网络参数。这不仅影响融合特征的输出,还能通过对整体网络的参数调整,达到对浅层、中层和深层输出结果在不同程度上的优化作用。这也是融合型UNet++网络的深层输出结果优于原有UNet++网络单一深层输出结果的原因。因浅层输出预测结果十分粗糙,错误预测区域范围较大,融合该层预测信息,未能产生很好的效果。因此,本文仅选择L1层的中层与深层的特征进行融合。实验结果表明,融合型UNet++的图像分割效果好于UNet++。特别是在边缘模糊、图像中存在与胎儿头部轮廓相似结构等情况下,其图像分割区域能正确预测,减小误差。从各项评估指标比较,融合型UNet++网络较U-Net或UNet++均有明显提升。
【参考文献】:
期刊论文
[1]超声图像胎儿颅骨椭圆自动检测方法[J]. 陈凯,李胜利,唐娉. 中国图象图形学报. 2009(12)
本文编号:3422415
本文链接:https://www.wllwen.com/yixuelunwen/fuchankeerkelunwen/3422415.html
最近更新
教材专著