基于DBN的改进深度学习模型及应用研究

发布时间：2021-12-28 07:28

　　金融领域风险控制永远是业务的核心基础。我们要通过对业务的理解应用数学理论知识建立信用评分模型,科学的解决信用评分问题,减少信用违约的风险,提高企业的收益,使盈利最大化。传统的机器学习模型在数据量大,结构复杂和维度增大的情况下给算法的训练和预测带来问题。大数据时代的到来,给信用评分这个传统问题带来问题和挑战,将深度学习算法应用到信用评分上是一个值得研究的问题。本文主要工作如下:（1）提出结合DBN和ELM的改进深度学习算法深度置信网络（DBN）算法的是一种性能优秀的深度学习模型,但是训练需要经过预训练和微调两个阶段,耗费了大量的时间。极限学习机（ELM）算法具有训练速度快,泛化性育能好的特点,但是研究表明ELM算法往往需要更多的隐层神经元才会取得好的效果,即模型的训练需要更大的内存。为了有效的结合两者的优点,本文提出了一种将ELM和DBN结合的新算法DBN-DELM。同时为了有效利用中间隐层信息提出了借鉴bagging思想的 DBN-DELM-ensemble 算法,并分别将 DBN,ELM 和 IDBN,DBN-DELM,DBN-DELM-ensemble算法应用在手写体数据集MNIS... 

【文章来源】：西安理工大学陕西省

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

限制玻尔兹曼机模型

深度信念网络模型

图 2-2 深度信念网络模型Fig 2-2 Deep Belief Network Model图可以看出，限制玻尔兹曼机和深度信念网络结构的关系为深度信念网络是由多尔兹曼机通过无监督预训练堆叠组成的。于 DBN 模型的训练可以分为无监督预训练和有监督的微调过程，第一个过程通得到一个好的初始化参数避免 BP 算法在深层网络优化中的梯度消失问题，同时速度，第二个过程通过 BP 算法在已经得到好的初始化参数的深度网络中进行全微调，使得算法效果更佳。详细的过程为：1）无监督学习BN 算法的无监督预训练过程如图 2-3 所示，通过训练数据逐层传递，贪婪的训个 RBM 的参数ijw ,ia 和jb ，这样为下一步的全局微调得到一个好的初始化参数

【参考文献】：
期刊论文
[1]基于CRBM算法的时间序列预测模型研究[J]. 周晓莉,张丰,杜震洪,曹敏杰,刘仁义.  浙江大学学报(理学版). 2016(04)
[2]一种基于胶质细胞链的改进深度信念网络模型[J]. 耿志强,张怡康.  自动化学报. 2016(06)
[3]一种交替变换更新层数的DBN-DNN快速训练方法[J]. 李轩,李春升.  计算机应用研究. 2016(03)
[4]基于极限学习的深度学习算法[J]. 赵志勇,李元香,喻飞,易云飞.  计算机工程与设计. 2015(04)
[5]基于DBN-ELM的球磨机料位软测量方法研究[J]. 康岩,卢慕超,阎高伟.  仪表技术与传感器. 2015(04)
[6]极端学习机算法的改进及应用研究[J]. 牛培峰,马云鹏,刘魏岩,卢青,杨潇.  燕山大学学报. 2015(02)
[7]一种改进的深度神经网络在小图像分类中的应用研究[J]. 吕刚,郝平,盛建荣.  计算机应用与软件. 2014(04)
[8]基于多GPU的深层神经网络快速训练方法[J]. 薛少飞,宋彦,戴礼荣.  清华大学学报(自然科学版). 2013(06)
[9]一种基于粒子群优化的极限学习机[J]. 王杰,毕浩洋.  郑州大学学报(理学版). 2013(01)
[10]基于AUC的分类器评价和设计综述[J]. 汪云云,陈松灿.  模式识别与人工智能. 2011(01)

硕士论文
[1]决策树分类算法的研究及其在教学分析中的应用[D]. 刘军.河海大学 2006



本文编号：3553677