基于卷积神经网络的高效语义分割方法研究

发布时间：2020-10-17 12:17

　　 语义分割是计算机视觉领域一个非常活跃的研究方向,它在视频监控、场景分析、人机交互以及行为分析等方面有着巨大的应用潜力。目前,语义分割的主流实现方式是采用卷积神经网络来搭建模型,并通过使用人工标注的数据集对模型进行训练来得到语义分割模型。而现目前的语义分割模型往往为追求高分割精度而导致模型复杂且运行时间长,难以用于许多对运行速度要求高的场景。因此,本文就兼具精度与速度的高效语义分割方法进行了研究,主要包括:第一,对FCN、U-Net和DeepLabv3+模型进行了研究,比较了三者在公开数据及Cityscapes上的表现,分析了三者特征融合的方式。从而针对深度学习模型易出现的特征冗余问题,提出了一种改进的U-Net语义分割模型,该网络相比于原始U-Net融合了更少的特征,且使用的参数更少,也在数据集上获得了更高的分割精度。第二,通过对目标检测模型和图像识别模型的任务特性的分析,本文提出了一种基于目标检测迁移学习的高效语义分割方法。该方法利用YOLOv3目标检测模型进行迁移学习,针对训练样本的非均衡性进行损失函数设计,使用多类型卷积模块对高层特征进行提取来获得更加有效的特征和更加快速的速度。实验结果表明,该方法在确保高分割精度的同时,能够有效地提升分割效率。在公开测试集Cityscapes上,该方法达到了0.171s每帧的运行速度以及79.1%平均交并的分割精度。且实验结果表明相比于从图像识别进行迁移学习的模型,该模型能够取得更好的分割效果。进一步地,为了缓解由样本有偏性带来的模型泛化能力差,本文提出了使用风格迁移的方法,对目标图像向训练图像进行风格迁移再进行分割。实验结果表明,该方法相比于使用原始图像进行分割获得了5%的精度提升。第三,从更加有效地提取与利用特征的角度出发,本文提出了一种基于多层次卷积模块的快速语义分割方法。该方法将三种不同的卷积核以不同的层次进行组合,并将它们所提取的特征进行融合,从而实现了使用较少模型参数的情况下获得更加有效的特征。实验结果表明,该方法具有较快的运行速度且同时有着较高的分割精度。在公开测试集Cityscapes上,该方法达到了0.052s每帧的运行速度以及75.2%平均交并比的分割精度。同时,本文将该模型用于人体分割,并提出使用多数据集联合训练的方式来缓解训练样本的有偏性从而提升模型的鲁棒性。实验结果表明,本文的人体分割模型能够有效地应用到各种场景之中。第四,本文对提出的两个语义分割模型在嵌入式平台Xavier上进行了实现,并进行了基于语义分割的人脸风格迁移应用的实验测试与验证。测试结果表明,本文提出的基于多层次卷积模块的语义分割模型能够在嵌入式平台实时运行。且应用实验结果显示,本文的模型在Xavier平台能够以0.172s每帧的速度完成对640×360×3大小图像的分割与人脸风格迁移。综上,本文针对基于卷积神经网络的高效语义分割方法,从目标检测迁移学习、缓解训练样本非均衡的损失函数设计、多类型高层特征的提取、多层次卷积模块的利用以及嵌入式平台的实现等角度进行了深入研究,提出了高效的语义分割模型。实验结果证明,本文所提出的方法在确保分割精度的同时能够有效提高分割效率,具备了实际应用的能力。
【学位单位】：中国科学院大学(中国科学院光电技术研究所)
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP391.41;TP183
【部分图文】：

第 1 章 绪论的环境信息，分割的结果不仅具有各目标在图像中的位置信息，同时还有各个目标的类别以及姿态信息。这些信息能够有效地辅助其它计算机视觉的应用任务，比如自动驾驶、人机交互以及场景变换。随着监控和智能手机的普及，语义分割的应用量也逐步增大。比如监控中，可以通过语义分割来智能判别车辆所在区域是否属于应急车道或者非机动车道，从而减少人工判定的工作量。而在智能手机中，语义分割则有着非常成熟的应用。现目前手机拍照功能中的人像优化以及背景虚化，都是通过语义分割提取出相关区域后再进行后处理。

往往是通过自顶向下的方式实现。语义分割的最终目标就是通过自顶向下的方式得到一个模入图像中的每个像素准确预测出一个具有语义的标签，其流程其中预测标签中的每一种颜色对应一个类别的目标。模型输入图像

我们会在卷积的过程中尽量保持输出的特征宽高大小和输入特征一致，所以我们往往会在输入特征的边框上补 0，补 0 的方法则按照卷积后宽高大小不变的原则来进行。比如图2.3中，这里使用的卷积核宽高为3 × 3，输入宽高为7 × 7，那么为了得到同样宽高为7 × 7的输出，我们则会在输入特征的周边补上一圈 0，使得输入特征的宽高变为9 × 9，这样便能得到宽高为7 × 7的输出。图 2.3 二维卷积示意图Figure 2.3 The sketch of 2 dimensional convolution1 3 1 2 4 2 23 3 4 2 1 1 10 2 0 0 2 4 42 1 0 0 0 2 13 3 3 2 1 1 12 0 1 1 1 4 14 0 0 3
【相似文献】

相关期刊论文 前10条

1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期

2 鲍伟强;陈娟;熊涛;;基于进化神经网络的短期电力负荷预测研究[J];电工技术;2019年11期

3 陈晓燕;;浅析简单神经网络的发展及简单模型[J];数字技术与应用;2019年05期

4 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期

5 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期

6 林嘉应;郑柏伦;刘捷;;基于卷积神经网络的船舶分类模型[J];信息技术与信息化;2019年02期

7 俞颂华;;卷积神经网络的发展与应用综述[J];信息通信;2019年02期

8 韩真;凯文·哈特尼特;;为神经网络的通用理论建造基石[J];世界科学;2019年04期

9 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期

10 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期

相关博士学位论文 前10条

1 陈冬冬;基于深度神经网络的视觉媒体风格转换方法研究[D];中国科学技术大学;2019年

2 韩旭;基于神经网络的文本特征表示关键技术研究[D];北京邮电大学;2019年

3 杨国花;基于级联神经网络的对话状态追踪技术研究与实现[D];北京邮电大学;2019年

4 杨威;基于卷积神经网络的高效语义分割方法研究[D];中国科学院大学(中国科学院光电技术研究所);2019年

5 雷学文;基于深度神经网络的风功率日前预测与电力系统联合调度研究[D];西安理工大学;2018年

6 陈川;忆阻神经网络的同步控制及在信息安全中的应用研究[D];北京邮电大学;2019年

7 刘梅;网络系统的稳定和同步行为研究[D];新疆大学;2017年

8 靳然;基于神经网络和支持向量机的麦蚜发生动态预测研究[D];山西农业大学;2017年

9 李骁;基于深度卷积神经网络MSCT对小肾肿瘤病理分型的预测研究[D];中国人民解放军海军军医大学;2018年

10 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年

相关硕士学位论文 前10条

1 权峻;太阳能温室建模及智能控制策略研究[D];天津理工大学;2019年

2 钟文雅;基于深度卷积神经网络的乳腺X线图像的分类方法研究[D];南阳师范学院;2019年

3 薛花;基于聚类与神经网络的协同过滤推荐系统关键技术的研究[D];天津理工大学;2019年

4 张璐;基于深度学习的淋巴结自动分割算法研究[D];浙江大学;2019年

5 郭盼盼;基于GA-BP神经网络的多日股票价格预测[D];郑州大学;2019年

6 王旭东;基于光散射的磷矿磨矿粒度分析方法研究[D];武汉工程大学;2018年

7 熊雨点;基于深度学习的表单识别系统的研究与实现[D];武汉工程大学;2018年

8 聂若莹;基于AMDAR数据的对流云附近颠簸区预测方法研究[D];中国民用航空飞行学院;2019年

9 李高玲;基于神经网络的算法作曲与情感识别研究[D];郑州大学;2019年

10 路高飞;基于遗传算法改进BP神经网络的信用风险研究[D];郑州大学;2019年

本文编号：2844764