基于空间深度信息和级联CRFs的语义分割方法研究

发布时间：2021-06-29 17:09

　　作为计算机视觉领域的一个重要研究课题,图像语义分割的目标是将语义标签分配给图像中的每个像素,使彩色图像转化为语义标注图像。尽管深度学习方法的出现使得图像语义分割得到了明显改善,但仍存在一些问题:在某些复杂场景中,由于拍摄角度不同和光照不均匀,图像中包含许多不同目标相互重叠、低层视觉特征不明显等现象,因此常常出现一些因目标外貌特征相似而产生的语义混淆问题;除此之外,由于卷积神经网络中的下采样操作丢弃了大量图像信息,导致分割结果中物体间上下文关系模糊以及目标物体边界信息不清晰。因此,为了增强模型分辨外貌特征相似的物体的能力以及增强对物体边界定位的能力,本文提出了两种图像语义分割方法:基于空间深度信息的语义分割方法和基于级联CRFs的语义分割方法。两种方法的具体介绍如下:（1）考虑到深度图像的特性,本文提出了一种引入空间深度信息的语义分割方法,主要是向RGB支路叠加深度图像,以加入额外的场景空间信息,从而缓解模型混淆相似目标的问题。考虑到编码器-解码器模型和空间金字塔结构在语义分割中的优势,首先建立一个基于空间金字塔池化的编码器-解码器语义分割模型:Basic Net,然后在该模型基础上引入... 

【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

SegNet模型示意图

空间金字塔池化模型（ASPP），可以近似的认为 ASPP 是 SPP 的带孔卷积版本。由于引入了带孔卷积，可以扩大特征图的感受野，进一步提升语义分割的准确率。图2.7 空间金字塔池化结构示意图[38]在 SPP 模块中，不同尺寸的池化操作将输入特征图划分为多个子区域并生成对应的池化特征，这些局部区域之间存在一定的联系却各有不同，在提取自身局部语义信息的同时又和其他区域间有语义信息联系，增加了上下文联系。不仅如此，空间金字塔池化模型中使用了平均池化操作，将一个区域内的值进行加权平均，这样可以更好地反映当前区域内包含的特征信息。因此，在本文工作中将使用 SPP 结构实现对输入特征的多尺度学习。2.3 全连接条件随机场CRF 是 Lafferty 等人[47]于 21 世纪初期提出的一种概率无向图学习模型，通常表示为 G={V，E}

【参考文献】：
期刊论文
[1]融合语义知识的深度表达学习及在视觉理解中的应用[J]. 张瑞茂,彭杰锋,吴恙,林倞.  计算机研究与发展. 2017(06)
[2]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军.  计算机学报. 2017(06)
[3]图像分割综述[J]. 赵春燕,闫长青,时秀芳.  中国科技信息. 2009(01)
[4]图像分割的常用方法及其应用[J]. 石荣刚,李志远,江涛.  现代电子技术. 2007(12)



本文编号：3256819