关键点特征强化实例分割

发布时间：2021-01-11 10:05

　　目标检测和目标分割是计算机视觉领域中两个关系密切的研究方向。目标检测的目的是将图像中的物体检测出来,而目标分割是将图像中的物体的轮廓分割出来。语义分割是将一张图片分割成不同种类的物体,每一种类可能包含多个相同属性的物体。实例分割则是一种对图像中每一个需要检测的物体都进行单独标注和分割的图像分析方法。实例分割由于需要将每一个目标物体的轮廓标注出来,是一个研究难题。目前的研究在这一领域虽然取得了一定的进展,但是很难获取具有复杂轮廓的物体的精确目标边界。这是由于卷积神经网络中的下采样和上采样过程会损失物体边界上的语义信息。所以本文研究设计了一种创新的方式,来更精确地分割图像中的物体。主要工作如下:首先,本文针对目前最流行的几种基于深度学习的目标检测和实例分割算法,如MASK R-CNN、Yolo、Deep-lab等,进行了测试和研究。发现分割的误差主要来源于物体的细小部分。因此本文提出了一种利用如角点等关键点特征来强化实例分割的方法。基于MASK R-CNN的标准网络,在网络中加入真值关键点作为额外输入,并且设计了一个关键点损失函数来改进对物体细小部分的漏检。由于对真值标注的时间有限,本文在... 

【文章来源】：中国科学院大学(中国科学院宁波材料技术与工程研究所)浙江省

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

MASKR-CNN对复杂物体的分割结果

关键点特征强化实例分割4部分，但是本文认为一些物体的细小部分往往是对识别一个物体有比较重要意义的部分，比如细长的椅腿和镂空车轮。传统方法的分割误差往往来自于细小部分。从下图1.2，可以看出，椅子的上半区域，椅背和坐垫的分割误差小；下半区域，椅腿和扶手分割误差大。图1.2复杂物体的分割误差分析Figure1.2Theerroranalysisofcomplexobjectssegmentation目前在实例分割领域，已经有研究在传统的像素特征以外，加入一些额外的信息来强化分割效果。这类方法主要有半卷积[3]、OpenPose[4]、AAF[5]、depth-awareCNN[6]、超像素[7]、轮廓融合[8]等。虽然这些方法的表现形式不同，是通过加入关节点、深度、标签、超像素、轮廓等不同的知识，但是本文认为其都是一种特征强化的方法，是利用像素特征之外的知识来加强实例分割效果。特征强化主要是在网络训练的过程中，加入了像素特征之外的知识来强化网络对某些特征的响应。这种强化可以通过多种方式加入，比如depth-awareCNN[6]是在卷积提取特征过程中加入深度特征；超像素是在卷积训练网络或者预测网络输入前进行超像素处理；OpenPose[4]、DensePose是在标注中加入关节点特征。相比传统的通过像素特征，特征强化在一些特定的分割情景下能取得更加精确的分割结果。为了研究特征强化对实例分割的影响以及找到一种泛化性的特征强化实例分割方法，本文通过引入关键点特征来强化实例分割，提高了分割方法对复杂物体的分割精度。

关键点特征强化实例分割20图2.1层级神经网络示意图Figure2.1Hierarchicalneuralnetworkgraph图2.2卷积神经网络的层级结构Figure2.2Hierarchicalstructureofconvolutionalneuralnetworksgraph卷积神经网络的层级结构基本由以下几个部分组成：数据输入层Inputlayer、卷积层convlayer、ReLU激励层、池化层Poolinglayer、全连接层FClayer。1.数据输入层：数据输入层的主要作用是是输入图像数据进行预处理，一般包括以下三个部分：1.去均值：把输入图像数据的每个维度的中心坐标都变为0；2.归一化：将每个维度的尺度大小归一化到统一的标准尺度上，这样可以降低计算过程中由于尺度大小不同带来的影响；3.PCA和白化：PCA是一种降维操作，白化则是将输入图像数据在每个特征轴上进行的尺度归一化。2.卷积计算层：卷积神经网络的命名就是来源于卷积计算层，这一层是卷积

【参考文献】：
期刊论文
[1]图像场景识别中深度学习方法综述[J]. 宋杰,孟朝晖.  计算机测量与控制. 2018(01)



本文编号：2970573