基于生成对抗网络的交通场景视觉显著性区域预测

发布时间：2020-05-19 16:56

【摘要】：交通驾驶场景是一个复杂多变的环境,其中包括车辆位置及其运动趋势、行人和交通标志的空间位置等重要信息。视觉选择性注意机制是人的视觉系统在复杂环境中将多余信号过滤掉,并提取重要信息的一种神经机制。根据该注意机制,有经验的驾驶员能够有效地搜索和处理驾驶任务中的目标信息。近年来,随着智能驾驶的研究和发展,越来越多的研究人员通过行为学眼动实验来模拟驾驶过程中的认知活动,并根据实验中采集到的驾驶员眼动数据来研究交通场景中的视觉注意机制和检测模型。本论文利用眼动数据来研究交通驾驶场景中驾驶员的视觉信息处理特征,建立了基于生成对抗网络的交通场景显著性预测模型。该模型可以比较准确地预测交通场景中驾驶员在模拟驾驶过程中的视觉显著性区域(包括主要注视区域和次要区域)。论文内容主要分为以下两部分:第一部分,介绍了眼动数据的来源以及眼动数据的预处理流程,建立了可供深度学习方法训练和测试的数据集。我们采用基础的生成对抗网络(GAN)和循环一致性生成对抗网络(CycleGAN)对本文数据集进行处理和分析,发现这两种基础方法存在欠拟合现象,其显著性评价指标也较低。CycleGAN与GAN相比,前者的预测效果较好,但生成损失的设计方式还有待改进。第二部分,基于CycleGAN的生成损失及其判别方法,本论文提出了一种图像尺度逐渐生长、生成网络多步判别的渐进式训练判别网络模型。本模型主要包含生成模型和判别模型,并设计了合适的生成损失和判别方式。生成模型采用U型的镜像结构,包含渐进式结构的编码器和解码器,其中每个尺度的网络结构都设计成残差网络单元。判别模型对生成图像的各个尺度进行多步判别,逐渐校正生成图像质量。本论文提出的神经网络模型可以生成交通驾驶场景的显著性图,即显著性预测结果。本论文基于自顶向下的视觉注意机制,提出了基于生成对抗网络的交通场景视觉显著性预测模型。本论文的模型可以有效地估计交通驾驶环境中驾驶员视觉搜索的显著性区域和环境周边突发情况,同时也能指出驾驶员注视的主要区域和交通标志等次要目标,可对未来的智能驾驶车辆和辅助驾驶系统等提供有用的理论依据和相关技术支持。
【图文】：

框架图,框架,视觉,视觉神经系统

电子科技大学硕士学位论文和自顶向下机制，建立了效果更优的显著性检测模型，用于图像和测。tti 显著性模型是由 Itti, L、Koch, C 和 Niebur, E 在 1998 年提出的[1]。了早期灵长类动物的视觉神经系统，依据其结构提出的一种视觉显模型先通过高斯下采样方法建立三种高斯金字塔，然后再利用其提像的方向、亮度和颜色特征图），生成多尺度图像。根据“中心”精围”粗糙等级的差异得出三种特征的特征图，然后融合各个尺度的得出所求显著图。该模型利用“胜者为王”（Winner-take-all，WTA）抑制”（Inhibition-of-Return，IOR）机制的拮抗竞争实现控制视觉注的跳跃转移过程。Itti 模型的框架如图 1-2 所示。

目标检测

图 1-3 YOLO 目标检测结果生成对抗网络（简称 GAN）[33]是一种无监督学习算法，可以学习非线性的，其中的生成网络可以生成目标图像。GAN 不仅可以处理图像，，也可以运用理视频中。比如 2016 年提出的基于 GAN 的网络模型[34]，可以实现视频识别频生成：基于一幅静态图像，模型自动推测生成接下来的视频帧，可以预测的合理未来。残差学习网络结构（ResNet）[35]是将输入层与输出层间的残差
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18;U495

【参考文献】