基于强化学习的限定代价下卷积神经网络结构自动化设计

发布时间：2020-08-21 03:29

【摘要】：近年来深度神经网络在传统方法很难解决的认知类任务(如语音识别,图像识别,机器翻译)上取得了颠覆性成功。神经网络的网络结构对其性能有着决定性的影响,近年来视觉领域中的很多研究集中于设计针对不同任务的特定网络结构。目前神经网络结构的设计主要靠人手工完成,网络结构的设计需要使用者拥有相关的专业知识并且设计过程耗时。近来一些自动化的网络结构设计方法陆续被提出,然而这些方法只考虑对所设计网络结构的预测准确率进行优化。在实际应用中,除了预测准确率,其他类型的代价也非常重要,例如网络参数大小,对于内存有限的嵌入式设备,其所能承受的网络参数大小往往是有限的。因此研究限定代价下的网络结构自动化设计方法具有重要的应用价值。2018年,Veniat和Denoyer提出了一种限定代价下的卷积网结构自动化设计方法BSN(Budgeted Super Network),但该方法不能对需要对网络结构训练后才能确定的代价进行优化,比如训练时间。针对BSN存在的不足,本文在现有基于强化学习的网络结构自动化设计方法的基础上提出了一种限定代价下卷积网结构自动化设计方法B-ENAS(Budgeted-Efficient Neural Architecture Search)。我们选取了推断时间、参数大小和训练时间三类代表性代价在CIFAR10数据集上进行了实验。在推断时间和参数大小代价下的实验中B-ENAS可以像BSN一样学得满足不同代价约束的网络结构,且网络结构的预测准确率更高。训练时间代价下的实验证明了BENAS可以对训练时间这种需要对采样网络结构训练后才能知道的代价进行优化,解决了BSN存在的不足。
【学位授予单位】：中国科学院大学(中国科学院深圳先进技术研究院)
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18
【图文】：

程中获得的回报。图 2.8 基于策略梯度的卷积网自动化设计方法基本思路Figure 2.8 The idea of policy gradient based neural architecture search methodsZoph 等.（2017）提出的网络结构自动化设计方法 NAS（Neuralrchitecture Search）是最早基于策略梯度进行网络结构设计的方法，接下来我将对其思路进行详细介绍。代理进行网络结构采样的过程如下：The controllerTrain a child model witharchitecture A to getaccuracy RSample architecture A with probabilityfunction pCompute gradient of p and scale it by Rto update the controller

图 4.1 B-ENAS 流程图Figure 4.1 The procedure of B-ENAS代理在定义好的搜索空间中进行网络结构采样。注意，在步骤一个小的网络结构单元，而不是一个完整的网络结构，也就是想，在下文中我们将会详细介绍。在步骤 b，将采样得到的网成一个完成的网络结构。在步骤 c，对采样网络结构进行训练获取采样网络结构在验证集上的准确率。在步骤 f，用代价值，惩罚后的值作为即时奖励。在步骤 g，代理利用获得的即时.4 部分我们提到，现有限定代价下的网络结构设计方法 BSN 无种需要对采样网络结构进行训练后才能知道的代价进行优化。法 B-ENAS 中，因为采样网络结构和代理的参数的训练并不是R

【相似文献】

相关期刊论文 前10条

1 曾水玲,宋鸾娇,徐蔚鸿;基于遗传算法的神经网络结构优化[J];吉首大学学报(自然科学版);2005年03期

2 王华伟,周经伦,沙基昌;基于遗传算法的一种新的神经网络结构模式研究[J];小型微型计算机系统;2002年04期

3 王继成,蔡义发,吕维雪;一种自动生成神经网络结构的新方法[J];自动化学报;1996年01期

4 孟祥武,程虎;优化神经网络结构[J];计算机研究与发展;1997年08期

5 金连文,徐秉铮;基于多级神经网络结构的手写体汉字识别[J];通信学报;1997年05期

6 杨钟瑾,史忠科;快速自顶向下优化神经网络结构的方法[J];系统仿真学报;2005年01期

7 杨钟瑾,史忠科;神经网络结构优化方法[J];计算机工程与应用;2004年25期

8 周金荣，黄道，蒋慰孙;一种新型神经网络结构模型的应用研究[J];自动化学报;1996年04期

9 江芳泽,李昕;一种用于图像压缩的神经网络结构的研究[J];电子技术应用;1995年07期

10 夏红霞;王惠营;胡磊;;基于粗糙集的神经网络结构优化方法[J];计算机与数字工程;2010年05期

相关会议论文 前10条

1 周金荣;黄道;蒋慰孙;;基于机理的神经网络结构及其应用的研究[A];1994年中国控制会议论文集[C];1994年

2 舒怀林;李柱;;大纯滞后系统神经网络结构PID控制器[A];1997中国控制与决策学术年会论文集[C];1997年

3 谈冉;薛胜军;;采用神经网络结构实现智能通信[A];1996年中国智能自动化学术会议论文集（下册）[C];1996年

4 王科俊;王克成;李国斌;李殿璞;;使用神经网络进行非线性动态系统辩识的结构和可行性研究[A];1996年中国控制会议论文集[C];1996年

5 武俊;漆德宁;;基于粗集神经网络的目标识别[A];第十七届全国测控计量仪器仪表学术年会（MCMI'2007）论文集（下册）[C];2007年

6 欧阳咸泰;;基于策略和经验神经网络的过程控制[A];1997年中国控制会议论文集[C];1997年

7 刘新勇;单光恒;袁著祉;;基于遗传算法的神经网络预测方法及其在上证指数预测中的应用[A];1996年中国控制会议论文集[C];1996年

8 李明亮;王祖朝;母景琴;李聚光;赵战明;;基于神经网络的模拟电路故障诊断研究[A];第四届中国测试学术会议论文集[C];2006年

9 王金甲;王成儒;李静;;自组织混合神经网络在说话人识别中的应用[A];第一届学生计算语言学研讨会论文集[C];2002年

10 田大新;刘衍珩;朱建启;王健;;无标度神经网络构造算法[A];2006全国复杂网络学术会议论文集[C];2006年

相关博士学位论文 前3条

1 朱群雄;神经网络结构理论与技术的研究及其在过程模拟与过程控制中的应用[D];北京化工大学;1996年

2 张昭昭;模块化神经网络结构自组织设计方法[D];北京工业大学;2013年

3 任怀庆;非线性不确定系统的神经网络控制研究[D];吉林大学;2014年

相关硕士学位论文 前10条

1 许强;基于强化学习的限定代价下卷积神经网络结构自动化设计[D];中国科学院大学(中国科学院深圳先进技术研究院);2019年

2 卢剑彪;复杂环境下交通标志牌的检测和识别[D];广东工业大学;2018年

3 杨英;基于进化算法的神经网络结构优化研究[D];广东工业大学;2007年

4 吴伟;基于改进遗传算法的神经网络结构优化研究[D];苏州大学;2012年

5 征进;高阶神经网络结构优化与改进[D];大连理工大学;2010年

6 刘晓艳;基于敏感性分析的神经网络结构选择研究[D];河北大学;2008年

7 费芸洁;基于灵敏度分析的神经网络结构优化方法研究[D];苏州大学;2007年

8 张庆庆;基于粒子群的神经网络结构优化模型研究[D];西安工程大学;2010年

9 沈而默;多种神经网络结构在树叶形状分类中的应用和比较[D];吉林大学;2007年

10 杨萍;基于敏感性的Madaline神经网络结构自适应学习算法研究[D];南京信息工程大学;2017年

本文编号：2798854