基于改进Unet的脑腹部多模态影像分割

发布时间：2020-10-26 22:29

　　 深度学习是人工智能领域的基础,近几年,在图像处理中深度学习的应用广泛,基于图像的任务有很多,比如图像识别、目标检测、目标分割等……,本文主要研究医学影像分割。本文中我们的研究对象为核磁共振医学影像(MRI)和正电子发射型计算机断层扫描影像(PET),分别为低场强的腹部MRI影像和脑部MRI和PET多模态医学影像。其中腹部MRI影像中的分割目标是胃部区域,属于人体自身器官,由于本文中腹部MRI影像主要辅助放疗过程中放疗仪聚焦,所以采用低场强MRI,使得影像质量较差,对比度低,胃部边缘模糊,不利于胃部分割,为得到良好的分割结果,本文提出了基于迁移自编码网络约束的全卷积神经网络分割方法。脑部影像的分割目标是癫痫病灶区域,属于脑组织病变区域。脑部影像主要包含MRI影像和PET影像,针对脑部MRI/PET多模态影像,本文提出了多模态特征融合的全卷积神经网络(Ynet),该网络能够同时利用MRI和PET影像对癫痫病灶进行学习,并结合了前景背景互补的分割思想。综上,本文具体研究了以下三方面。(1)提出了一种基于胃部标签的自编码网络约束的全卷积神经网络迁移学习方法。采用全卷积神经网络U-net作为基本网络,并构造一个自编码网络用于学习胃部区域标签的结构信息,将训练好的自编码网络分别作用于腹部MRI影像的标签图和U-net网络对腹部MRI影像的分割结果图,分别生成两个重构图img1、img2,利用img1和img2构造一个Dice损失来引导U-net基本网络的优化方向。U-net网络结构是完全对称的,网络结构简单描述如下:四次下采样层,下采样层之间包含卷积核数目不同的卷积层,四次上采样层,上采样层之间同样包含卷积核数目不同的卷积层,下采样结构层又称作编码层,上采样结构层又称解码层,在编码层和解码层之间有跳跃连接层,跳跃连接层用来将浅层卷积特征和深层卷积特征融合,联合了高层语义和底层的细粒度表层信息,能够很好的符合分割对高层语义信息和底层细粒度表层信息的依赖。用U-net网络首先在高质量的腹部MRI影像上学习胃部区域的纹理信息,并且使用低质量影像的标签训练自编码网络,以学习胃部区域的轮廓、形状信息,再将学习好的网络在低质量的腹部影像上进行fine-tuning。(2)提出了一种基于多模态特征融合的前背景互补癫痫病灶分割方法。该多模态网络的两个支网络分别用于学习MRI影像特征和PET影像特征,支网络的网络结构采用U-net的编码解码结构。多模态网络的深层结构用于将支网络提取的MRI影像特征和PET影像特征进行特征融合,融合的方法我们采用了特征层叠加、特征层加权求和,实验表明特征叠加的方法更适用于癫痫病的多模态影像特征的融合和分割。另外,我们采用以上模型着重学习非癫痫病灶的背景区域,采用基于背景学习的模型和基于癫痫病灶的学习模型在决策级进行分割结果融合,实验表明结合基于背景的分割方法能够对仅基于前景分割的方法进行一个补充和改善。(3)对于医学影像数量少,不足以使网络充分学习影像数据分布规律的问题,前两个工作中我们采用了简单的图像处理方法进行图像扩充,这样扩充的数据与原始数据相似性较高。为了进一步充分利用有限的影像数据,我们提出了基于CycleGAN进行影像模态转换的癫痫病灶分割方法。首先利用CycleGAN训练学习MRI和PET影像之间的映射关系,从而能够实现两种模态之间的相互转换获取更多的样本。实验表明从MRI到PET的转换更具有真实性,使用生成的PET影像能够改善分割结果。
【学位单位】：西安电子科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：R445.2;TP391.41
【部分图文】：

sigmoid函数及导函数曲线图

tanh函数曲线图

relu函数曲线图
【相似文献】

相关期刊论文 前10条

1 侯旭京;;多模态隐喻浅析土味情话——基于综艺节目《非常完美》男女嘉宾对话[J];海外英语;2019年22期

2 王芳;;网络多模态环境下大学生外语学习焦虑及干预策略[J];海外英语;2019年21期

3 王璐璐;张朝霞;;多模态教学模式在大学英语词汇教学中的应用[J];信阳农林学院学报;2019年04期

4 叶永青;;互动构建的时空延展和情感变迁——电子哀悼多模态语类特征[J];天津外国语大学学报;2020年01期

5 董芮君;史琪;;西安城市形象广告语篇的多模态意义构建[J];北极光;2019年12期

6 范振强;郭雅欣;;多模态隐喻的前沿理论研究：问题与展望[J];阜阳师范学院学报(社会科学版);2019年06期

7 王荣斌;薛耀琴;;4～5岁汉语儿童否定行为的多模态表征特点[J];学前教育研究;2020年01期

8 黄立鹤;张德禄;;多核并行架构:多模态研究的范式、路径及领域问题之辨[J];外语教学;2019年01期

9 赵雨菲;;近五年我国多模态翻译研究综述[J];农家参谋;2019年04期

10 闫雪锋;;多模态话语视域下“翻转课堂”教学模式的改革与探索——以西安职业技术学院公共基础课为例[J];才智;2019年10期

相关博士学位论文 前10条

1 王普明;基于特征张量的大数据多模态分析研究[D];华中科技大学;2019年

2 卢洪阳;清醒小动物多模态脑光学成像技术及应用[D];上海交通大学;2016年

3 赵维;基于多模态影像数据的脑网络研究[D];湖南师范大学;2019年

4 曹俊亮;水下滑翔机多模态运动控制与路径规划研究[D];上海交通大学;2016年

5 胡敏;多模态靶向纳米探针在微小肝癌的诊断及光热治疗的实验研究[D];南方医科大学;2018年

6 刘曌雯;多模态生物数据分析与挖掘研究[D];西安电子科技大学;2018年

7 张灵均;多模态数据分类的模糊粗糙方法研究[D];天津大学;2017年

8 张淑美;基于数据驱动的复杂多模态过程模态识别及过程监测研究[D];东北大学;2016年

9 屈雯;基于多模态内容分析的多视角视频推荐技术研究[D];东北大学;2015年

10 马腾;基于mVEP和MI多模态脑机接口的关键技术研究[D];电子科技大学;2018年

相关硕士学位论文 前10条

1 雅茹罕;多模态教学应用于国际汉语兴趣课的行动研究[D];北京外国语大学;2019年

2 李瑶;小样本的多模态遥感影像融合分类方法[D];上海海洋大学;2019年

3 何宝华;多模态演讲语篇评价意义的建构[D];广东外语外贸大学;2019年

4 邵阿芳;基于多模态话语分析的商业广告英汉翻译研究[D];广东外语外贸大学;2019年

5 王达;多模态过程集合型故障诊断方法研究[D];沈阳理工大学;2019年

6 马文康;基于聚多巴胺构建的多模态纳米诊疗探针的合成及应用[D];南京邮电大学;2019年

7 杨帆;引入多模态隐喻理念的文化创意产品设计[D];浙江理工大学;2019年

8 杜立寰;基于多模态深度学习的疲劳驾驶检测[D];上海交通大学;2018年

9 张越;基于多模态磁共振脑影像特征的精神分裂症自动分类及个体化预测研究[D];华南理工大学;2019年

10 李珍珍;阿尔兹海默症多模态辅助诊断模型研究[D];河南大学;2019年

本文编号：2857599