循环神经网络结构中激活函数的改进

发布时间：2017-08-11 06:23

  本文关键词：循环神经网络结构中激活函数的改进

  更多相关文章： 深度学习 循环神经网络 激活函数 LSTM模型 GRU模型

【摘要】：循环神经网络相比于其他深度学习网络,优势在于可以学习到长时依赖知识,但学习过程中的梯度消失和爆炸问题严重阻碍了知识的按序传播,导致长时依赖知识的学习结果出现偏差。为此,已有研究主要对经典循环神经网络的结构进行改进以解决此类问题。本文分析2种类型的激活函数对传统RNN和包含门机制RNN的影响,在传统RNN结构的基础上提出改进后的模型,同时对LSTM和GRU模型的门机制进行改进。以PTB经典文本数据集和LMRD情感分类数据集进行实验,结果表明改进后的模型优于传统模型,能够有效提升模型的学习能力。
【作者单位】： 河海大学计算机与信息学院;
【关键词】： 深度学习 循环神经网络 激活函数 LSTM模型 GRU模型
【基金】：国家科技支撑计划项目(2013BAB06B04;HNKJ13-H17-04) 国家自然科学基金面上资助项目(61272543) 水利部公益性行业科研专项重点项目(201501007) NSFC-广东联合基金重点项目(U1301252)
【分类号】：TP183
【正文快照】： 0引言人工神经网络是机器学习领域的一个分支。深度学习源于人工神经网路,能更好地模拟大脑结构,实现认知过程逐层抽象,解决深度不足出现的问题[1]。深度学习分支较多,目前的研究热点是卷积神经网络和循环神经网络(Recurrent Neural Net-works,RNN)[2]。RNN是一种学习能力很强

【相似文献】

中国期刊全文数据库 前10条

1 黄敬频,周永权;可调激活函数神经元参数选取方法研究[J];工程数学学报;2005年06期

2 黄敬频,周永权;可调激活函数递进提升输出维的选参方法[J];数学的实践与认识;2005年01期

3 卢纯,石秉学;一种新型的神经元激活函数及其导数的可编程发生器[J];固体电子学研究与进展;2002年01期

4 冯林;刘胜蓝;张晶;王辉兵;;高维数据中鲁棒激活函数的极端学习机及线性降维[J];计算机研究与发展;2014年06期

5 穆文全，廖晓峰，虞厥邦;具有非可微激活函数的神经网络性能分析[J];电子科技大学学报;1996年04期

6 吴佑寿,赵明生;激活函数可调的神经元模型及其有监督学习与应用[J];中国科学E辑:技术科学;2001年03期

7 叶世伟,郑宏伟,王文杰,马琳,史忠植;离散时间Hopfield网络的动力系统分析[J];计算机研究与发展;2003年10期

8 李玉萍;张素庆;叶世伟;;基于凸函数理论的Hopfield网络稳定性分析[J];计算机工程;2006年15期

9 郭佰胜;宫宁生;;激活函数可调的RBF神经网络模型[J];微计算机信息;2009年06期

10 王雪光,郭艳兵,齐占庆;激活函数对BP网络性能的影响及其仿真研究[J];自动化技术与应用;2002年04期

中国重要会议论文全文数据库 前2条

1 李彬;李贻斌;荣学文;;激活函数可调的ELM学习算法及其应用[A];中国自动化学会控制理论专业委员会D卷[C];2011年

2 王担担;阮秀凯;张志涌;;基于Hopfield网络盲检测QAM信号的激活函数[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

中国硕士学位论文全文数据库 前1条

1 姚显双;回声状态网的改进与应用研究[D];渤海大学;2015年

，

本文编号：654644