基于超限学习机与随机响应面方法的深度学习超参数优化算法

发布时间：2021-12-30 16:51

　　恰当的超参数设置是决定深度模型性能的关键因素,实现优秀高效的超参数优化算法能够提高深度学习模型的效果,提升模型超参数搜索调优的效率和速度,降低深度学习模型的应用门槛。超参数优化算法的典型代表是贝叶斯优化算法（BOA）,此类基于代理模型的全局优化算法,相对随机搜索、网格搜索等简单算法理论上具备更好的优化效率。本文提出基于超限学习机（ELM）对超参数空间建立确定性代理模型,并改进随机响应面方法,实现了一种针对深度学习模型的超参数优化算法SurroOpt1。实验表明,本文提出的算法,在深度卷积网络模型超参数优化任务中,相对贝叶斯优化和TPE算法这2种最先进的已知算法,在函数求解次数相同的情况下,具备更好的模型优化效果。 

【文章来源】：高技术通讯. 2019,29(12)北大核心

【文章页数】：10 页

【部分图文】：

超限学习机的网络结构

得到输入层和输出层的权重后,即可根据式(1)获得对参数空间的各点预测。本文所用超限学习机模型的激活函数为三角激活函数。图2为超限学习机对1维函数y=xsin(x)+xcos(2x), x∈[0,5]基于采样点对一维参数空间的拟合,及其与RBF插值模型的对比。3 基于随机响应面方法的超参数优化算法

3种算法在实验1上的效率比较

【参考文献】：
期刊论文
[1]一种基于改进KELM的在线状态预测方法[J]. 朱敏,许爱强,陈强强,李睿峰.  北京航空航天大学学报. 2019(07)
[2]滚子包络端面啮合蜗杆传动参数优化[J]. 王凯,王珏翎,刘文革,黄清宇,夏至东.  高技术通讯. 2018(07)



本文编号：3558610