深度神经网络架构优化与设计

发布时间：2020-12-08 13:30

　　深度神经网络在许多实际应用中,如图像分类、目标检测等,已经打败了许多传统机器学习算法甚至超越了人类水平。但想要获得更好的预测指标,加深神经网络层数是不可避免的,这意味着需要消耗巨大的计算资源。对嵌入式等资源受限设备是很难接受的,计算瓶颈极大地阻碍了人工智能产业化的发展。DenseNet是最近提出的神经网络架构,在许多视觉任务中达到了业界最先进的水平。然而,由于内部结构中层与层之间测稠密连接,它具有很大的冗余度,导致这种密集网络在实际部署推断过程中具有高计算成本。人为无法判断出DenseNet内部哪些连接是不必要的,为了解决这个问题,本文使用神经网络架构搜索方法（NAS）来自动化学习和设计计算资源受限下的最优子网络架构。具体地,将DenseNet拓扑结构定义为搜索空间,基于预训练DenseNet模型,设计了一个A2C强化学习框架作为搜索策略,使用长短期记忆网络LSTM表示策略网络,多层感知机MLP表示价值网络。策略网络的输出为高维伯努利分布,基于策略分布采样可以制定原始DenseNet结构中内部新的连接方式,从而得到新的子网络拓扑结构。对于学习到的子网络,还制定了神经网络架构性能评估策略... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：84 页

【学位级别】：硕士

【部分图文】：

LeNet-5神经网络架构，总共有７层神经网络构成，图中每一个截面表示一个

第二章 深度卷积神经网络架构发展概述Euclidean Radical Basis Function，ERBF）组成，输出维度为等于 MINST 数据集类类别数 10。表 2-1 S2层与 C3层特征图的连接方式[1]0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 150 X X X X X X X X X X1 X X X X X X X X X X2 X X X X X X X X X X3 X X X X X X X X X X4 X X X X X X X X X X5 X X X X X X X X X X.2 AlexNet 卷积神经网络架构

这种成功也伴随着对神经网络架构工程需求的日益增长，为了更好地解决计算机任务，越来越复杂的神经网络架构被手动设计出来，如第二章介绍。而在第三章中，我们主要介绍了深度强化学习算法，而深度强化学习已经代替人类专家在神经网络架构设计领域做出了很多成功的方法[48]。本章我们主要介绍自动化设计神经网络架构问题以及强化学习、演化学习在该领域的应用。4.1 神经网络架构搜索问题介绍神经架构搜索（Neural architecture search，NAS）是神经网络架构工程自动化的过程，其被提出的初衷是希望神经网络架构学习与设计像深度学习对特征提取一样，使得学习到的网络模型比人工设计的模型性能更优，并且可以不用耗费大量的专家经验。因此 NAS 是机器学习自动化领域下一步需要解决的问题。NAS 可以看作是 AutoML 的子领域，并且与超级参数优化（Hyperparameter optimization）和元学习（Meta learning）有较多交叉的地方。我们主要通过三个维度对 NAS 的方法进行介绍：搜索空间、搜索策略和性能评估策略。


本文编号：2905168