结合上下文特征与CNN多层特征融合的语义分割

发布时间：2020-03-25 22:20

【摘要】：图像语义分割是计算机视觉领域的研究热点,如何让计算机按照人类理解的方式对海量的图像实现精细分割是图像理解亟待解决的问题。近年来,卷积神经网络被广泛应用到语义分割的研究中,并取得了显著的成果。针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙,准确度低的问题,本文提出结合上下文特征与卷积神经网络多层特征融合的语义分割方法。首先,采用选择搜索(selective search)方法从图像中生成不同尺度的候选区域,selective search~([1])使用基于图的图像分割方法~([2])生成许多的子区域,根据子区域间的相似性不断的进行区域迭代合并,最终输出目标所有可能存在的区域。此外,在对区域进行分类时,结合了自由形式前景特征和上下文特征以更好的获得区域前景实际像素信息。其次,采用VGG16网络的前五层作为基础网络来提取图像特征图。利用refineNet将不同层提取的特征图进行融合,使得每一层提取的图像特征都可以加入到最终的分割网络中,将预训练的VGG16网络按特征图的分辨率大小分成五个模块,然后向右将五个模块分别作为五个路径通过RefineNet模块进行融合,最后得到一个精调特征图。最后,输入候选区域掩膜和融合特征图,输出分割图像。将候选区域的掩膜图像和不同层融合后的特征图输入到自由形式感兴趣区域池化层,得到候选区域的特征,最后采用加入了弃权的全连接层对候选区域进行分类,且通过softmax层对每一个像素点进行分类。实验表明,本文提出的算法充分利用了区域的前景信息和上下文信息以及不同层提取的图像特征信息,可以做到准确、快速、较为有效的分割,且具有较强的鲁棒性。
【图文】：

示意图,语义,示意图,绪论

第一章绪论进行分类，，以实现准确无误地避让行人和车辆，从而将自动驾驶全们的日常生活中。如下图 1.1 中的（a）和（b）分别是原图和语义以看出语义分割是将具有相同类别的目标归为同一类，不同类别之颜色表示，图 1.1（b）中的粉红色代表人，蓝色代表摩托车，黑色

结构图,全卷,语义,结构图

第二章基于深度卷积网络的语义分割模型概述2.3 基于全卷积网络的语义分割模型基于候选区域的模型方法虽然为语义分割的发展带来很大的进步，但是它需要生成大量的候选区域，生成候选区域的过程要花费大量的时间和内存空间。此外，不同算法提取的候选区域集的质量也千差万别，直接影响了最终的语义分割效果。在此基础上，基于全卷积网络（Fully Convolution Network，FCN）的语义分割模型应运而生，它不需要生成候选区域，可以直接实现端到端的像素级预测。全卷积网络没有全连接层，全部由卷积层构成，图 2.1 是文献[36]提出的基于全卷积网络的语义分割模型结构图。
【学位授予单位】：江西理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【相似文献】