自动化构建移动端神经网络的技术研究

发布时间：2021-09-22 04:26

　　深度学习已在视觉、语音、自然语言等应用领域取得巨大成功,然而随着网络结构日趋复杂,神经网络参数量也迅速增长,设计网络结构和调节参数这一过程需要大量的专业知识与反复试验,成本极高。此外,由于功耗限制与存储空间等因素,移动端设备上的神经网络模型规模受限。设计了一种高效的移动端神经网络架构搜索算法,具体包括:（1）设计了一种在预先给定神经网络架构的情况下可以自动计算模型浮点数运算次数的算法;（2）改进现有的基于梯度的神经网络架构搜索算法,设计了一种带约束的架构搜索算法;（3）在神经网络架构搜索过程中加入对浮点数运算次数的约束,通过调节约束的强弱搜索到几种不同的神经网络架构。训练搜索到的神经网络,测试其在图像分类任务上的性能,并与工业界常用的模型相比较。实验结果表明,该方法搜索到的模型能达到目前工业界主流模型性能。 

【文章来源】：电子技术应用. 2020,46(12)

【文章页数】：6 页

【部分图文】：

神经网络总体结构

由于搜索空间离散，搜索得到的模型很庞大，本文舍弃一些操作，减小模型的规模。为了形成这种离散的模型架构，对于每一条边(i,j)，本文选择所有非零候选操作中前k个最好的操作(这k个操作需要来自不同节点)。操作的强度由α决定，它的定义为：本文只研究卷积神经网络，因此取k=2。模型导出如图3所示。2 实验和结果

在本文的算法中，架构搜索涉及多维参数的嵌套优化问题，因此选用近似的方法降低复杂度。一阶近似和二阶近似搜索过程中训练集与测试集的准确率变化如图4所示。一阶近似和二阶近似搜索到的计算单元如图5所示。两种近似都可以达到较好的效果。一阶近似平均耗时9 h，二阶近似平均耗时20 h，二阶近似的收敛速度、稳定性、验证集准确率均略优于一阶近似。2.2.3 带约束的架构搜索

【参考文献】：
期刊论文
[1]基于BP神经网络的终端区拥挤等级预测[J]. 阮昌,李印凤,高旗.  指挥信息系统与技术. 2019(04)



本文编号：3403136