采用pix2pixHD的高分辨率皮肤镜图像合成方法
发布时间：2021-11-09 00:49
皮肤镜图像中的皮肤病变自动识别是提高诊断性能和减少皮肤癌死亡的重要方法.针对训练数据不足的问题,提出一种基于pix2pixHD的高分辨率皮肤镜图像合成方法.首先,通过皮肤病灶的真实边界,结合病变类别对皮肤病变知识进行建模,获取包含病理意义的标签映射;其次,以标签映射作为病变合成的约束条件,利用构建的生成对抗网络模型实现标签映射向皮肤镜图像的空间映射,同时将生成器的浅层和深层特征相结合以避免图像细节信息的丢失;然后,引入标准差特征匹配损失以稳定生成对抗网络的训练.在ISIC-2017数据集上的实验结果表明,相比不同合成方法生成图像的质量,该方法具有更好的视觉效果以及IS与FID定量化指标评价,并且可为监督学习网络提供额外的信息增益,以提高皮肤病变分类的准确度.
【文章来源】：计算机辅助设计与图形学学报. 2020,32(11)北大核心EICSCD
【文章页数】：9 页
【部分图文】：
pix2pix HD框架流程
(2)实例映射.一个理想的图像生成模型应该能够通过相同的语义映射来生成各种各样的图像,如果只使用语义映射,每个像素值代表一个不同的对象类,它可以区分不同类别的对象,但不能区分相同类别的对象.因此,需要使用一个实例映射来为每个单独的对象分配一个唯一的像素值.为了构建实例映射,本文使用了超像素(super-pixel)算法[17],它将像素组合成具有感知意义的子区域,这些子区域可以用来代替相同对象内部结构.将超像素算法应用于皮肤镜图像,超像素块的数量设置为1 000,得到超像素图像如图2a所示.语义映射只能区分不同类别的区域,而实例映射可以在同一类别的多个相似区域相邻时提供重要的邻域信息.因此使用实例映射时,首先将超像素图像中的1 000个超像素块按从左到右、从上到下的升序编号.然后对超像素块进行遍历,如果超像素块中超过一半的区域属于正常的皮肤区域,则像素值从1 000开始编号,每次递增1;否则,对于痣病变皮肤区域,超像素块的像素值从2 000开始编号,每次递增1;对于黑色素瘤病变,超像素块的像素值从3 000开始编号,每次递增1;对于脂溢性角化病变,超像素块的像素值从4 000开始编号,每次递增1.通过编码好的实例映射得到邻域边界映射后,将邻域边界映射与语义映射通过one-hot编码连接起来,构造一个复合标签映射,并将其输入生成器网络.而判别器的输入是复合标签映射和真实或合成图像的按通道级联拼接.
在pix2pix HD中,生成器由2个子网络组成,全局生成器和局部增强器.全局生成器输出的分辨率为1 024×512像素,局部增强器输出的图像分辨率为前一幅图像输出的2倍(2 048×1 024像素).由于全局生成器的输出分辨率满足数据的大小要求,为了减少计算量,本文只使用了pix2pix HD的全局生成器.然而全局生成器经过一系列卷积之后,得到的高维特征图丢失了目标位置等浅层细节信息,导致目标定位精度下降.因此,本文在上采样阶段,通过编码器和解码器之间的跳接,将编码器和解码器生成的大小相同的特征图叠加在相应的位置,并进行卷积运算,以有效地融合图像的浅层和深层特征,生成器网络结构如图3所示.改进后的生成器由一系列下采样(Downsample),一组残差块(Residual Block)和一系列连接-上采样(Concatenate-Upsample)组成,具体网络参数如图3所示.网络使用批量归一化(batchnorm,BN)处理以提高网络的泛化能力,在输出层使用Tanh激活函数,其余层使用Re LU激活函数.在下采样和上采样中间包括一组残差块(由9个残差块组成),网络根据残差块对标签映射和生成图像的差异进行学习,而不是根据整个图像的信息,从而提高网络收敛性.
【参考文献】：
期刊论文
[1]采用条件生成式对抗网络的缺损牙全冠修复技术[J]. 袁福来,戴宁,田素坤,张贝,孙玉春,俞青,刘浩. 计算机辅助设计与图形学学报. 2019(12)
[2]医学图像分析深度学习方法研究与挑战[J]. 田娟秀,刘国才,谷珊珊,鞠忠建,刘劲光,顾冬冬. 自动化学报. 2018(03)
本文编号：3484321
【文章来源】：计算机辅助设计与图形学学报. 2020,32(11)北大核心EICSCD
【文章页数】：9 页
【部分图文】：
pix2pix HD框架流程
(2)实例映射.一个理想的图像生成模型应该能够通过相同的语义映射来生成各种各样的图像,如果只使用语义映射,每个像素值代表一个不同的对象类,它可以区分不同类别的对象,但不能区分相同类别的对象.因此,需要使用一个实例映射来为每个单独的对象分配一个唯一的像素值.为了构建实例映射,本文使用了超像素(super-pixel)算法[17],它将像素组合成具有感知意义的子区域,这些子区域可以用来代替相同对象内部结构.将超像素算法应用于皮肤镜图像,超像素块的数量设置为1 000,得到超像素图像如图2a所示.语义映射只能区分不同类别的区域,而实例映射可以在同一类别的多个相似区域相邻时提供重要的邻域信息.因此使用实例映射时,首先将超像素图像中的1 000个超像素块按从左到右、从上到下的升序编号.然后对超像素块进行遍历,如果超像素块中超过一半的区域属于正常的皮肤区域,则像素值从1 000开始编号,每次递增1;否则,对于痣病变皮肤区域,超像素块的像素值从2 000开始编号,每次递增1;对于黑色素瘤病变,超像素块的像素值从3 000开始编号,每次递增1;对于脂溢性角化病变,超像素块的像素值从4 000开始编号,每次递增1.通过编码好的实例映射得到邻域边界映射后,将邻域边界映射与语义映射通过one-hot编码连接起来,构造一个复合标签映射,并将其输入生成器网络.而判别器的输入是复合标签映射和真实或合成图像的按通道级联拼接.
在pix2pix HD中,生成器由2个子网络组成,全局生成器和局部增强器.全局生成器输出的分辨率为1 024×512像素,局部增强器输出的图像分辨率为前一幅图像输出的2倍(2 048×1 024像素).由于全局生成器的输出分辨率满足数据的大小要求,为了减少计算量,本文只使用了pix2pix HD的全局生成器.然而全局生成器经过一系列卷积之后,得到的高维特征图丢失了目标位置等浅层细节信息,导致目标定位精度下降.因此,本文在上采样阶段,通过编码器和解码器之间的跳接,将编码器和解码器生成的大小相同的特征图叠加在相应的位置,并进行卷积运算,以有效地融合图像的浅层和深层特征,生成器网络结构如图3所示.改进后的生成器由一系列下采样(Downsample),一组残差块(Residual Block)和一系列连接-上采样(Concatenate-Upsample)组成,具体网络参数如图3所示.网络使用批量归一化(batchnorm,BN)处理以提高网络的泛化能力,在输出层使用Tanh激活函数,其余层使用Re LU激活函数.在下采样和上采样中间包括一组残差块(由9个残差块组成),网络根据残差块对标签映射和生成图像的差异进行学习,而不是根据整个图像的信息,从而提高网络收敛性.
【参考文献】：
期刊论文
[1]采用条件生成式对抗网络的缺损牙全冠修复技术[J]. 袁福来,戴宁,田素坤,张贝,孙玉春,俞青,刘浩. 计算机辅助设计与图形学学报. 2019(12)
[2]医学图像分析深度学习方法研究与挑战[J]. 田娟秀,刘国才,谷珊珊,鞠忠建,刘劲光,顾冬冬. 自动化学报. 2018(03)
本文编号：3484321
本文链接：https://www.wllwen.com/yixuelunwen/pifb/3484321.html
最近更新
教材专著
