一种组合型的深度学习模型学习率策略

发布时间：2017-09-25 03:33

  本文关键词：一种组合型的深度学习模型学习率策略

  更多相关文章： 深度学习 学习率 组合学习策略 图像重构

【摘要】：一个设计良好的学习率策略可以显著提高深度学习模型的收敛速度,减少模型的训练时间.本文针对AdaGrad和AdaDec学习策略只对模型所有参数提供单一学习率方式的问题,根据模型参数的特点,提出了一种组合型学习策略:AdaMix.该策略为连接权重设计了一个仅与当前梯度有关的学习率,为偏置设计使用了幂指数型学习率.利用深度学习模型Autoencoder对图像数据库MNIST进行重构,以模型反向微调过程中测试阶段的重构误差作为评价指标,验证几种学习策略对模型收敛性的影响.实验结果表明,AdaMix比AdaGrad和AdaDec的重构误差小并且计算量也低,具有更快的收敛速度.
【作者单位】： 西北工业大学航海学院;
【关键词】： 深度学习 学习率 组合学习策略 图像重构
【基金】：国家自然科学基金(61271143)资助~~
【分类号】：TP391.41;TP181
【正文快照】： 深度学习[1-6]是机器学习领域一个新的研究方向,与传统的机器学习和信号处理方法相比,深度学习模拟人类视觉神经系统的层次体系,含有更多的隐含单元层,通过对原始 数据逐层的非线性变换,可以得到更高层次的、更加抽象的特征表达,高层次的表达能够强化输入数据的区分能力,同时

【相似文献】

中国期刊全文数据库 前10条

1 杜利民,侯自强;多层前馈神经网络快速学习算法的实现[J];电子学报;1992年10期

2 曹均阔,舒远仲,叶水生;一种结构自组织的改进BP网络[J];计算机工程;2005年17期

3 李琳娜;;基于变学习率的多agent学习算法的研究[J];长春工程学院学报(自然科学版);2009年04期

4 孔继利;贾国柱;栾世超;司晓玲;;考虑学习率和搬运时间的人工作业系统批量加工模式研究[J];系统工程理论与实践;2013年08期

5 王子才,施云惠,崔明根;一种具有动态最优学习率的BP算法[J];系统仿真学报;2001年06期

6 郦小敏,王卫红,王宗学;RBFN输出层学习率的一种稳定算法[J];计算机仿真;2004年02期

7 张聪,刘希玉;基于改进的动态因子多层前馈网络学习算法[J];山东交通学院学报;2004年04期

8 吴立锋;吴经龙;;BP算法学习率自适应性研究[J];大众科技;2011年12期

9 王科俊,李国斌;几种变学习率的快速BP算法比较研究[J];哈尔滨工程大学学报;1997年03期

10 陈国安,尤肖虎;基于学习率与惯性因子动态联合优化的快速BP算法[J];东南大学学报;1999年04期

中国重要会议论文全文数据库 前2条

1 詹涛;张春路;丁国良;;基于学习率优化和调整方向选择的改进BP算法在制冷系统仿真中的应用[A];上海市制冷学会一九九九年学术年会论文集[C];1999年

2 胡上尉;刘琼荪;孙海雷;;基于三项BP算法的最优学习参数估计[A];2006中国控制与决策学术年会论文集[C];2006年

，

本文编号：915131