基于像素亲和性和语义信息的图像实例分割研究
发布时间：2021-01-17 16:41
图像实例分割是计算机视觉方向的基本任务之一。给定一幅图像,实例分割任务旨在对图像中某些类别的实例进行像素级别的区分。传统的实例分割方法主要分为两类:基于候选框的实例分割方法和无候选框实例分割方法。基于候选框的实例分割方法先利用候选框对物体进行定位,再对找到的物体进行掩膜分割。而无候选框的实例分割方法则利用网络预测像素级别的实例信息,再对图像中的像素进行聚类。在无候选框的实例分割算法中,如何找到合适的实例级信息一直是研究的重点与难点。而在基于候选框的实例分割算法中,一方面,由于掩膜通常在备选区域内部产生,视觉表征的学习受到候选框范围的限制。另一方面,由于掩膜支路分辨率的限制,得到的掩膜结果十分粗糙。为了解决这些问题,提升实例分割算法的性能,得到更好的分割结果,本文将像素亲和性和语义信息显式地引入实例分割任务。本文的主要工作和创新点包含如下三个方面:第一,提出了基于图融合方法的无候选框实例分割算法。该算法将整幅图像作为一个图结构,利用神经网络预测图像的语义信息与亲和性信息作为图中的边,提出图融合方法将图中的像素聚类为不同的集合,最后得到不同的实例。该方法将像素亲和性与图像语义信息结合,并利...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：96 页
【学位级别】：博士
【部分图文】：
图１．１实例分割任务的定义
?第１章绪?论???１．３研究内容和创新点??候选框的实例分割基于图融合方法的实例分割??ｆ?Ｉ—?／－?ｎ??、?Ｊ?Ａｋ基干全局上下文信息的实例分割??＇、＼（ｓ于候选框的实例分割）￣??Ｙ基于像素亲和性的实例分割优化??图１．２本文提出的主要工作结构。??对于图像实例分割任务，本文从两个方面进行研宄。如图１．２所示，对于无??候选框的实例分割，本文提出一种新的实例信息表征：像素之间的亲和性，并以??此构建基于像素亲和性的图融合方法，生成实例分割的结果。另一方面，对于基??于候选框的实例分割，本文分析了现有方法中存在的问题，提出了将全局上下文??信息融入特征的学习过程，增强实例分割的结果。同时，本文还对像素亲和性进??行更深一步的探索，在基于候选框的实例分割方法中，也可以利用像素亲和性，??学习更好的特征表达，并对得到的掩膜结果进行优化，得到更好的实例分割效??果。??本文主要创新点如下：??１．提出了一种全新的无候选框实例分割方法，验证了像素的亲和性可以作为??有效的实例层次信息。针对学习得到的亲和性，提出了全新的图融合算法，??结合像素亲和性与语义信息，为聚类过程提供指引。??２．针对基于候选框的实例分割任务中存在的问题，提出了将上下文信息引入??特征学习中。通过增加辅助监督与一致性约束，指引网络学习全局上下文??信息。针对候选框空间位置信息的缺失，引入了位置编码向量，解决了训??练中存在的标签不一致问题。??３．针对传统方法由于上采样导致的边界粗糙问题，提出了像素亲和性网络，??将像素亲和性引入网络训练中来，基于图融合算法，设计了对实例分割结??果进行优化的流程。??１
应用如此广??泛，最关键的是它对图像特征提取的能力，在这一小节，我们对近些年来的卷积??神经网络发展进行简要回顾。??１．?ＬｅＮｅｔ??Ｃ３：?ｆ?ｍａｐｓ?１６＠１０ｘ１０??ＩＭＰＩＩＴ?Ｃ１：?ｆｅａｔｕｒｅ?ｍａｐｓ?Ｓ４?ｆ?ｍａｐｓ?１６＠５ｘ５??Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ?｜?Ｇａｕｓｓｉａｎ?ｃｏｎｎｅｃｔｉｏｎｓ??Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｉｉｎｇ?Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ??图２．１?ＬｅＮｅｔ－５的网络结构，图片引用自论文Ｉ％。??如图２．１所示，ＬｅＮｅｔ是为了解决手写字符识别问题提出的一个分类网络，是??最早的卷积神经网络结构之一，开启了深度学习的发展。ＬｅＮｅｔ第一次向研宄人??员们展现了卷积神经网络学习特征的能力，并在分类任务中取得了卓越的性能。??ＬｅＮｅｔ中可以发现大部分ＣＮＮ中的常用操作：卷积，池化，激活，全连接层等??等，这为之后ＣＮＮ的发展奠定了基矗??２．?ＡｌｅｘＮｅｔ??尽管ＣＮＮ向研究者们展现了强有力的特征学习能力，但在当时的硬件条件??下，神经网络的复杂性成为了研宄的瓶颈。随着计算条件的不断发展，２０１２年，??基于卷积神经网络的ＡｌｅｘＮｅｔ?—举获得了?ＩｍａｇｅＮｅｔ图像分类竞赛的冠军，这使??得卷积神经网络再一次进入了大众的视野。??ＡｌｅｘＮｅｔ的主要网络结构如图２．２所示，它第一次使用了?ＲｅＬＵ作为网络激活??层的激活函数。与全等映射不同的是，当输入值小于０时，ＲｅＬＵ函数将会返回０。??由于ＲｅＬＵ层的激活不会增加梯度计算的开销，相比于之前的激活函数，ＲｅＬＵ??
本文编号：2983230
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：96 页
【学位级别】：博士
【部分图文】：
图１．１实例分割任务的定义
?第１章绪?论???１．３研究内容和创新点??候选框的实例分割基于图融合方法的实例分割??ｆ?Ｉ—?／－?ｎ??、?Ｊ?Ａｋ基干全局上下文信息的实例分割??＇、＼（ｓ于候选框的实例分割）￣??Ｙ基于像素亲和性的实例分割优化??图１．２本文提出的主要工作结构。??对于图像实例分割任务，本文从两个方面进行研宄。如图１．２所示，对于无??候选框的实例分割，本文提出一种新的实例信息表征：像素之间的亲和性，并以??此构建基于像素亲和性的图融合方法，生成实例分割的结果。另一方面，对于基??于候选框的实例分割，本文分析了现有方法中存在的问题，提出了将全局上下文??信息融入特征的学习过程，增强实例分割的结果。同时，本文还对像素亲和性进??行更深一步的探索，在基于候选框的实例分割方法中，也可以利用像素亲和性，??学习更好的特征表达，并对得到的掩膜结果进行优化，得到更好的实例分割效??果。??本文主要创新点如下：??１．提出了一种全新的无候选框实例分割方法，验证了像素的亲和性可以作为??有效的实例层次信息。针对学习得到的亲和性，提出了全新的图融合算法，??结合像素亲和性与语义信息，为聚类过程提供指引。??２．针对基于候选框的实例分割任务中存在的问题，提出了将上下文信息引入??特征学习中。通过增加辅助监督与一致性约束，指引网络学习全局上下文??信息。针对候选框空间位置信息的缺失，引入了位置编码向量，解决了训??练中存在的标签不一致问题。??３．针对传统方法由于上采样导致的边界粗糙问题，提出了像素亲和性网络，??将像素亲和性引入网络训练中来，基于图融合算法，设计了对实例分割结??果进行优化的流程。??１
应用如此广??泛，最关键的是它对图像特征提取的能力，在这一小节，我们对近些年来的卷积??神经网络发展进行简要回顾。??１．?ＬｅＮｅｔ??Ｃ３：?ｆ?ｍａｐｓ?１６＠１０ｘ１０??ＩＭＰＩＩＴ?Ｃ１：?ｆｅａｔｕｒｅ?ｍａｐｓ?Ｓ４?ｆ?ｍａｐｓ?１６＠５ｘ５??Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ?｜?Ｇａｕｓｓｉａｎ?ｃｏｎｎｅｃｔｉｏｎｓ??Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｌｉｎｇ?Ｃｏｎｖｏｌｕｔｉｏｎｓ?Ｓｕｂｓａｍｐｉｉｎｇ?Ｆｕｌｌ?ｃｏｎｎｅｃｔｉｏｎ??图２．１?ＬｅＮｅｔ－５的网络结构，图片引用自论文Ｉ％。??如图２．１所示，ＬｅＮｅｔ是为了解决手写字符识别问题提出的一个分类网络，是??最早的卷积神经网络结构之一，开启了深度学习的发展。ＬｅＮｅｔ第一次向研宄人??员们展现了卷积神经网络学习特征的能力，并在分类任务中取得了卓越的性能。??ＬｅＮｅｔ中可以发现大部分ＣＮＮ中的常用操作：卷积，池化，激活，全连接层等??等，这为之后ＣＮＮ的发展奠定了基矗??２．?ＡｌｅｘＮｅｔ??尽管ＣＮＮ向研究者们展现了强有力的特征学习能力，但在当时的硬件条件??下，神经网络的复杂性成为了研宄的瓶颈。随着计算条件的不断发展，２０１２年，??基于卷积神经网络的ＡｌｅｘＮｅｔ?—举获得了?ＩｍａｇｅＮｅｔ图像分类竞赛的冠军，这使??得卷积神经网络再一次进入了大众的视野。??ＡｌｅｘＮｅｔ的主要网络结构如图２．２所示，它第一次使用了?ＲｅＬＵ作为网络激活??层的激活函数。与全等映射不同的是，当输入值小于０时，ＲｅＬＵ函数将会返回０。??由于ＲｅＬＵ层的激活不会增加梯度计算的开销，相比于之前的激活函数，ＲｅＬＵ??
本文编号：2983230
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/2983230.html
