基于自注意力机制的弱监督和半监督语义分割

发布时间：2021-02-13 07:20

　　语义分割旨在为图像中每个像素分配一个对应的类别标签,并被广泛应用于自动驾驶、人脸分割、遥感探测和医疗影像处理等领域中。现有的全监督语义分割算法需要大量像素级标注的数据驱动训练,数据标注代价昂贵并且十分耗时。因此研究者们提出弱监督和半监督语义分割,利用弱监督标签或部分标注的像素级标签训练可以大大减少数据标注的工作量。另一方面,自注意力机制近两年来在全监督视觉任务中被广泛应用,其通过捕捉不同像素间的长程依赖有效提升了各模型的性能。然而如何将其应用于弱监督场景是目前尚未被深入研究的问题。本文的研究内容为基于自注意力机制的弱监督和半监督语义分割算法,侧重点为弱监督语义分割,目标是在弱监督场景下引入合理的自注意力机制,提高弱监督语义分割的性能。同时在弱监督分割框架的基础上结合半监督信息,充分利用额外的少量像素级标签提升语义分割的性能。考虑到弱监督语义分割问题的核心在于弱标签位置的歧义性,本文通过两种方法从弱标签中恢复物体的位置信息（种子点）,包括引入显著性指导和从神经网络内部挖掘,随后将种子点作为伪真值训练全监督语义分割模型。第二章针对现有通过类别激活图挖掘出的种子点过于稀疏的问题,提出了一种基... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：87 页

【学位级别】：硕士

【文章目录】：
致谢
摘要
Abstract
1 绪论
    1.1 研究背景和研究意义
    1.2 国内外研究现状
        1.2.1 全监督语义分割
        1.2.2 弱监督语义分割
        1.2.3 半监督语义分割
        1.2.4 自注意力机制
    1.3 常用数据集和评价指标
        1.3.1 常用数据集
        1.3.2 语义分割评价指标
    1.4 本文的研究内容和整体结构
2 基于显著性指导自注意力网络的弱监督和半监督语义分割
    2.1 引言
    2.2 基本思路和总体框架
    2.3 基于显著性指导的自注意力网络
        2.3.1 后端网络
        2.3.2 显著性指导自注意力模块
        2.3.3 种子点分割分支
        2.3.4 图像分类分支
        2.3.5 总体损失函数
        2.3.6 高质量种子点的生成
    2.4 全监督语义分割网络的训练
    2.5 半监督语义分割任务的设计
    2.6 实验
        2.6.1 数据集和评价指标
        2.6.2 实验设置
        2.6.3 模块有效性验证
        2.6.4 模型超参数影响分析
        2.6.5 VOC2012数据集实验
        2.6.6 COCO数据集实验
    2.7 本章小结
3 基于自注意力机制的端到端弱监督和半监督语义分割
    3.1 引言
    3.2 基本思路和总体框架
    3.3 基于自注意力机制的端到端弱监督语义分割网络
        3.3.1 图像分类分支
        3.3.2 基于自注意力机制的语义分割分支
        3.3.3 在线种子点生成方式
        3.3.4 模型重训练
        3.3.5 半监督语义分割任务的设计
    3.4 实验
        3.4.1 数据集和评价指标
        3.4.2 实验设置
        3.4.3 模块有效性验证
        3.4.4 模型超参数影响分析
        3.4.5 VOC2012数据集实验
    3.5 本章小结
4 总结与展望
    4.1 本文工作总结
    4.2 研究工作展望
参考文献
攻读学位期间的研究成果



本文编号：3032164