面向场景解析的深度学习网络研究

发布时间：2020-04-08 00:08

【摘要】：场景解析作为一项复杂的计算机视觉基础工作,它不仅需要检测并分割出场景中出现的不同物体,而且需要识别出不同物体所属的类别,因此它的核心目标是准确地为图像中每个像素做分类,从而有助于实现目标检测、机器人任务规划、车辆自动驾驶以及无人机自主导航等智能计算机视觉任务。另外,深度学习作为机器学习领域的一个新的分支近几年取得了突飞猛进的发展,基于深度学习的特征提取方法能够有效地模拟人类的视觉系统逐级获取物体的特征信息,从而成为计算机视觉研究领域的主流方法。因此,面向场景解析的深度学习网络设计成为当前的研究热点问题之一。着眼于场景解析面临的主要难题,本文针对现有场景解析深度学习网络存在的不足展开研究并提出相应的解决方法。本文的主要内容和贡献如下:(1)有效的视觉特征提取和准确的空间结构化学习成为提升RGB场景解析准确率的关键,虽然卷积神经网络已经展示强大的特征提取能力,但是该网络的空间结构化学习能力较弱。为此,本文面向RGB场景解析提出空间结构化编码深度网络,内嵌的结构化学习层有机地结合了条件随机场和空间结构化编码算法,该层能够较为全面而准确地学习物体所处空间的物体分布以及物体间的空间位置关系;在此基础上,网络的特征融合层巧妙地利用了深度置信网络和改进的条件随机场,该层可以根据多模态特征融合生成的物体综合语义信息和物体间语义相关性信息完成深度结构化学习。(2)如何准确地学习物体的三维空间结构化信息以及如何有效地融合RGB和深度图像的特征信息是现有RGB-D场景解析方法面临的两大难题。为了解决上述问题,本文面向RGB-D场景解析提出三维空间结构化编码深度网络,内嵌的结构化学习层有机地结合了条件随机场和三维空间结构化编码算法,该层能够较为全面而准确地学习物体所处三维空间的物体分布以及物体间的三维空间位置关系;在此基础上,网络的特征融合层巧妙地利用了深度置信网络来实现RGB和深度图像特征信息的融合,从而充分地挖掘RGB图像所提供视觉信息和深度图像所提供深度信息之间的关联性。(3)由于采用分离方式训练(三维)空间结构化编码深度网络的过程中可能存在特征信息的损失,因此本文通过长短期记忆网络重建结构化学习层,并通过卷积神经网络重建特征融合层,从而提出适合端到端、像素到像素联合优化的全局上下文信息推理深度网络,较采用分离方式训练的网络相比,该网络能够更加充分地发挥网络各层的优势。另外,由于(三维)空间结构化编码算法仅能推理物体所处局部(三维)空间的上下文信息,因此本文在结构化学习层巧妙地结合了4个单向的长短期记忆网络来实现全局上下文信息的显式推理,从而较为全面而准确地学习物体间的长距离和短距离的(三维)空间依赖关系,其中长距离的依赖关系表示物体间的相对(三维)空间位置,从而有利于实现场景全局(三维)空间分布的正确性和合理性预测,而短距离的依赖关系表示相邻物体间的边界特点,从而有助于实现物体轮廓外观的一致性和平滑性优化。(4)研究表明,对抗训练方法不仅能够通过判别网络的竞争提升生成网络的性能,而且可以有效地降低生成网络在训练过程中存在的过拟合。为此,本文以全局上下文信息推理深度网络作为生成网络,提出基于对抗训练方法进行优化的空间结构化推理嵌入式对抗网络,从而有机地结合了多维特征提取、空间结构化推理、多模态特征融合和对抗训练方法各自的优势。通过对抗训练,空间结构化推理嵌入式对抗网络不仅可以通过判别网络的分析判断检测生成网络输出的场景解析结果与对应的Ground Truth之间的不一致,而且能够通过判别网络的竞争对抗地调优生成网络各层的参数,从而充分地发挥特征提取层、结构化学习层和特征融合层的作用,进而显著地提升场景解析结果与Ground Truth之间的语义一致性。
【图文】：

计算机视觉,场景,人类视觉系统,视觉信息

图 1.1 场景解析在计算机视觉任务中的应用Fig 1.1 Application of scene parsing in computer vision tasks些年，深度学习[8, 9]作为机器学习领域的一个新的分支取得了飞跃式地发的基本思想是通过大量的数据来训练包含多个层次的神经网络模型，，从而习过程。另外，经过研究发现人类视觉系统获取物体的视觉信息是一个逐

过程图,特征提取,神经网络,过程

图 1.2 深度神经网络的结构以及特征提取过程Fig 1.2 Architecture and feature extraction procedure of deep neural networks度学习的本质问题是通过构建深度网络模型来有效地提取数据的特征。对题，如果仅仅根据像素粒度的图像信息来提取特征，那么该特征信息很难
【学位授予单位】：哈尔滨工程大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP391.41;TP181

【参考文献】