面向场景理解的细粒度图像分割算法研究

发布时间：2020-06-01 05:37

【摘要】：随着人工智能的蓬勃发展,无人驾驶汽车等一系列新兴产品开始问世,相关应用对图像分析及场景理解的需求也日益增加。图像分割相关研究在各个领域起着重要作用,其分割结果有助于后续的场景理解与分析,相关研究具有重要的研究意义和广泛的应用场景。本文研究的细粒度图像分割算法不仅要为图片中每一实例生成掩模,而且需要区分图片中各实例的细粒度类别信息。这就需要算法在完成细粒度分类的基础上对其进行有效分割,以辅助后续场景理解与分析,例如可以作为场景分析的注意力引入相关端到端模型。相关研究相较于传统图像分割更具挑战性。本文主要工作包括:(1)研究及对比分析了四种基于深度学习的主流分割算法:FCN、SegNet、FCIS和Mask R-CNN。其中FCN首次将全卷积网络结构应用到语义分割任务中,是一个端到端、像素到像素的分割方法;SegNet网络类似于FCN网络,其编码和解码的网络与FCN不同;FCIS采用了物体和背景位置敏感的特征提取方法,物体特征用于分割,背景特征用于分类;Mask R-CNN则在同一网络中同时完成目标检测和实例分割两个任务。复现结果表明,Mask R-CNN网络的图像分割结果较好,因此本文后续的相关研究以其作为骨架网络模型。(2)提出了一种基于特征金字塔注意力(Feature Pyramid Attention,FPA)的图像分割算法。由第二章的研究分析可知,目前的分割方法对像素位置信息的学习能力不足。本文所提算法通过金字塔结构使网络将注意力集中于Mask,直接对Mask学习,而非对特征图进行学习,最大程度地保留像素级的位置信息,从而充分利用学习到的上下文信息,提高生成Mask的质量。实验结果表明,本文所提基于特征金字塔注意力机制的算法对于图像中小尺度目标的分割结果较好。(3)提出了一种基于全局特征金字塔注意力(Global Feature Pyramid Attention,GFPA)的细粒度图像分割算法。传统图像分割算法只能对粗粒度实例类别加以区分并生成Mask,而对于同一大类的细粒度类别信息不能加以区分。为了实现细粒度图像分割,我们改进了第三章所提的FPA注意力模型,通过在FPA模型中增加全局池化模块,构建了全局特征金字塔注意力。基于偏监督学习训练模式,我们采用Open Images V4数据集对所提网络的分类分支单独训练,以得到细粒度的类别信息。而Open Images V4数据集只对物体的类别和边界框进行了标注,所以在训练Mask分支时我们仍采用COCO数据集对网络进行训练,最后通过两路网络的协同和知识迁移,实现细粒度的像素级分割。实验结果表明,与Mask R-CNN相比,本文所提算法可在实现细粒度分类的同时对其进行像素级分割。
【图文】：

网络结构图,全卷

是将深层的、抽象的语义信息和浅层的、细致的图像信息结合起来，最终实现网络逡逑能够生成针对图像的更精准的语义分割信息。逡逑网络实现的是一个端到端、像素到像素的方法去解决语义分割问题。图２－１所逡逑示的是网络结构图。从图中我们可以看出网络将低层细致的信息和高层抽象的信逡逑息结合起来。池化层和预测层显示的网格密度是由相对空间网格的粗细决定的。图逡逑中竖线表示的是中间层。图中第一行ＦＣＮ－３２Ｓ表示上采样步骤是一步到位的，将逡逑７逡逑

网络结构图,编码网络,卷积,解码网络

卷积网络具有平移不变性网络由卷积层、池化层和激活函数等组成，这些逡逑运算只关联着图像中空间坐标中的像素点。设在某层中某个像素点可表示为（ｉ，乃逡逑则该位置的向量可表示为；经过一系列运算，如卷积、池化等，得到向量ｙｆ逡逑Ｙｉｊ邋＝邋ｆｋｓ（｛＾ｓｉ＋Ｓｉ，ｓｊ＋Ｓｊ］邋0邋Ｓｉｆ邋８ｊ邋＜邋ｋ）逦（２－１）逡逑其中，ｋ表示卷积核的大小，ｓ表示步长，八５代表不同层中不同运算法则。ＦＣＮ网逡逑络中的损失函数是每行中最后一层的每个像素的ｓｏｆｔｍａｘ分类损失之和。逡逑２．２邋ＳｅｇＮｅｔ图像分割算法逡逑ＳｅｇＮｅｔ图像分割算法在整体结构上与ＦＣＮ网络非常近似。它运用了两个网络逡逑结构：编码网络和解码网络。其中编码网络相当于ＦＣＮ中的卷积，，解码网络相当逡逑于ＦＣＮ网络中的上采样。ＳｅｇＮｅｔ中的编码网络结构都有一个反向对应的解码网络，逡逑解码器的最后一层连接一个ｓｏｆｔｍａｘ的分类器，目的是对每一个像素预测它的类概逡逑率。其网络结构如图２－２所示。逡逑—￣＾—￣逡逑
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18

【相似文献】