基于自适应学习率的深度信念网设计与应用

发布时间：2018-06-02 10:46

  本文选题：深度信念网 + 自适应学习率　； 参考：《自动化学报》2017年08期

【摘要】：针对深度信念网(Deep belief network,DBN)预训练耗时长的问题,提出了一种基于自适应学习率的DBN(Adaptive learning rate DBN,ALRDBN).ALRDBN将自适应学习率引入到对比差度(Contrastive divergence,CD)算法中,通过自动调整学习步长来提高CD算法的收敛速度.然后设计基于自适应学习率的权值训练方法,通过网络性能分析给出学习率变化系数的范围.最后,通过一系列的实验对所设计的ALRDBN进行测试,仿真实验结果表明,ALRDBN的收敛速度得到了提高且预测精度也有所改善.
[Abstract]:In order to solve the problem of long pre-training time of Deep belief Network (DBN), an adaptive learning rate (DBN(Adaptive learning rate DBN) based on adaptive learning rate (DBN(Adaptive learning rate DBN / ALRDBN) is proposed. The convergence speed of CD algorithm is improved by automatically adjusting the learning step size. Then the weight training method based on adaptive learning rate is designed, and the range of learning rate coefficient is given through network performance analysis. Finally, through a series of experiments to test the designed ALRDBN, the simulation results show that the convergence speed of ALRDBN has been improved and the prediction accuracy has been improved.
【作者单位】： 北京工业大学信息学部;计算智能与智能系统北京市重点实验室;
【基金】：国家自然科学基金(61533002,61473034) 国家杰出青年科学基金(61225016) 内涵发展—引进人才科研启动费资助~~
【分类号】：TP183

【相似文献】

相关期刊论文 前10条

1 何可佳;;基于概率的自适应学习预测策略[J];计算机工程;2010年10期

2 刘建伟;孙正康;罗雄麟;;域自适应学习研究进展[J];自动化学报;2014年08期

3 石晓荣,王青,张明廉,毕静;基于多传感器数据融合的机动目标跟踪自适应学习方法[J];系统仿真学报;2002年05期

4 姚敏;神经网的自适应学习准则及其算法[J];系统工程与电子技术;1995年03期

5 薛羽;庄毅;许斌;张友益;;基于自适应学习群体搜索技术的集成进化算法[J];系统工程理论与实践;2014年02期

6 薛羽;庄毅;孟新;张友益;;自适应学习集成优化算法及矩阵特征值求解[J];计算机研究与发展;2013年07期

7 周中良;王阳;何景峰;;基于自适应学习的多传感器融合时间管理[J];电光与控制;2007年06期

8 崔惠萍;傅钢善;;基于多Agent的自适应学习系统的研究[J];教育信息化;2006年07期

9 赵永标;胡燕;朱博;;Wasserman自适应学习率算法的改进[J];中国水运(理论版);2006年06期

10 李志聪;钟绍春;;自适应学习系统中朴素贝叶斯分类的应用研究[J];计算机工程与科学;2009年09期

相关博士学位论文 前3条

1 刘志勇;基于本体的自适应学习方法及应用研究[D];吉林大学;2010年

2 于淼;复杂非线性系统的自适应学习控制[D];浙江大学;2012年

3 许敏;领域自适应学习算法及其应用研究[D];江南大学;2014年

，

本文编号：1968479