基于改进残差网络和多重特征关联模块的图像语义分割方法研究

发布时间：2021-07-25 21:41

　　如今的自动驾驶、智能安防等各个领域都离不开计算机视觉,而图像分割是计算机视觉领域的一个重要的研究方向。随着深度神经网络技术的发展,基于神经网络的图像语义分割任务迎来了新的飞跃。图像的语义分割是计算机认知图像内容获取图像信息的重要环节,为后续的图像处理环节提供计算机可辨识的信息,其准确度直接影响着后续的图像处理效果。本文基于深度神经网络的框架,对城市街景图像的语义分割任务进行研究。目前的街景图像语义分割任务存在着训练样本不均匀、对小物体的分割不准确、细节部分例如边缘等容易分割出错、监督方式较为单一等问题。基于目前该方向存在的问题,本文从三个方面切入展开。首先,在对图像特征提取环节的研究中,本文提出了一个基于改进残差网络的特征提取网络,以扩大网络的感受野,获取更多语义信息。在残差网络的后端,设计了一个并联式空洞卷积模块,来获取不同尺度的目标的图像特征,为后面的图像特征融合环节做准备。其次,在对图像特征融合环节的研究中,本文提出了一个多重特征关联模块。借助注意力机制的优势,该部分能融合不同像素点和不同特征两个维度的语义信息。然后,在对网络的训练方法上,本文采用的是主损失函数和辅助损失函数相结... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

语义分割示意图

哈尔滨工业大学工学硕士学位论文-5-端到端网络在语义分割领域的开山之作。图1-2全卷积神经网络[23]示意图随着神经网络变得越来越深，一个新的问题诞生了，即梯度消失问题。许多研究也在这方面展开，一种做法是在前层和后层之间创建连接，例如HighwayNetworks、ResNets[24]、Stochasticdepth、FractalNets等。但是这些网络仍有不足，GaoHuang等人就提出了DenseNet[25]来解决ResNets参数过多的问题。除此以外，研究人员还在多个反面进行了思考，以此来提高网络的性能。1.3.3.1提高多尺度特征融合效率卷积层本质上是对图像进行特征提取，而解码过程本质上是一个特征融合的过程。因此，如何提取更多的特征，如何将各类特征更好的融合，成为了研究人员最为关注的问题。基于这样的思考，人们又在FCN的基础上对编码解码式进行了更多探索。U-net[26]将解码过程获得的高分辨率特征与编码过程中获得的特征相融合，将前层特征直接连接到后层，这成为了图像分割中最经典的网络之一。语义分割网络中高低层特征融合的效率问题也成为了研究人员关注的一点。通过不同的池化操作可以获得不同分辨率的特征图，PSPnet[27]提出金字塔池化模块（SaptialPyramidPooling，SPP）帮助实现背景聚合，DeepLabV2[28]中结合空洞卷积的思想提出金字塔型的空洞池化（AtrousSaptialPyramidPooling，ASPP），如图1-3所示，并利用ASPP整合多尺度特征，使得高分辨率特征和低分辨率特征相融合，从而更好地提取目标的类别信息。ExFuse[29]基于GCN设计了语义嵌入支路（SemanticEmbeddingBranch，SEB），通过将高层特征上采样后与低层特征逐像素相乘的方法将高层特征融入低层特征。在文献[30]中，旷视研究院针对不同尺度特征提取的问题提出了一个动态路径选择（Dy

哈尔滨工业大学工学硕士学位论文-6-系。熊志勇等人[32]也提出了一种利用不同尺度图像作为输入的模型，通过多次的迭代训练，提取出图像的多种尺度的特征信息，并使之融合以完成图像语义分割的任务。图1-3空洞金字塔池化[28]1.3.3.2扩大感受野卷积神经网络每一层输出的特征图（featuremap）上的像素点在输入图片上映射的区域大小就是感受野，因此感受野越大往往能获得更多的信息。2015年，Yu等人提出了空洞卷积[33]，向卷积层引入了一个称为“扩张率(dilationrate)”的参数，扩张率表示卷积核处理数据时各值的间距，在卷积核大小相同的情况下，能够使卷积操作具有更大的感受野。2016年，Google团队提出了DeepLab网络[34]，将空洞卷积应用于网络中，DeepLab也因此成为了后续人员研究的基石。BiSeNet[35]中的ContextPath直接用经典网络提取深层特征，扩大感受野。ESPNet[36]将标准卷积分解为两个步骤，分别为逐点卷积和扩张卷积的空间金字塔，使网络的效果有了显著提升。GCN[37]采用小卷积组合的方式来取代大卷积，既能保持较大的感受野，又能减少模型参数和计算量。1.3.3.3优化卷积结构在使用卷积神经网络进行语义分割的过程中，卷积操作必不可少且至关重要。卷积池化的结合可以很好地提取图像语义信息，增大图像的感受野，但同时也会导致特征图分辨率降低或者部分信息丢失。于是研究人员转换思路对卷积结构进行优化。WangP等人[38]使用混合扩张卷积(HybridDilatedConvolution，HDC)代替扩张卷积，通过设置一些列不同扩张率的卷积模块，有效避免了网格效应，保持了局部细节信息的相关性。DaiJ等人[39]提出了可变形卷积(deformableconvolution)，其思路是利用一个可学习的偏移量，使卷积操作的卷积核具有可变的形状，这样

【参考文献】：
期刊论文
[1]基于全连接条件随机场的道路场景语义分割方法[J]. 王瑶,冯峰.  电脑知识与技术. 2019(18)
[2]基于深度CRF模型的图像语义分割方法[J]. 胡涛,李卫华,秦先祥,邱浪波,李小春.  空军工程大学学报(自然科学版). 2018(05)
[3]基于多尺度特征提取的图像语义分割[J]. 熊志勇,张国丰,王江晴.  中南民族大学学报(自然科学版). 2017(03)
[4]一种多尺度CNN的图像语义分割算法[J]. 刘丹,刘学军,王美珍.  遥感信息. 2017(01)
[5]区域分裂合并法在图像分割中的应用[J]. 程帅.  福建电脑. 2013(06)
[6]自适应区域生长算法在医学图像分割中的应用[J]. 陆剑锋,林海,潘志庚.  计算机辅助设计与图形学学报. 2005(10)



本文编号：3302830