改进的Elman神经网络和网络参数优化算法研究

发布时间：2020-08-26 07:55

【摘要】：Elman神经网络(Elman Neural Network,ENN)是一种被广泛使用的反馈型神经网络。因其具有较强的适应时变特性的能力,非常适合用于时间序列数据的预测研究。根据前人经验得出,网络结构设计的好坏对网络的性能起着重要的影响。网络结构设计包括网络拓扑结构设计和隐含层节点数设计等。针对不同的问题需要设计不同的网络结构,尤其是隐含层节点数的确定,尚缺乏严格统一的理论指导。传统的Elman神经网络通常采用梯度下降法作为它的学习规则,造成学习过程收敛速度慢,收敛过程不稳定,且容易陷入局部最优解。鉴于传统Elman神经网络存在的上述问题,本文首先对Elman神经网络的拓扑结构进行了改进,提出了一种新型的带有输出-隐含反馈机制的双隐含层Elman神经网络(Elman neural network with Double Hidden layers and Output-Hidden Feedback,DHOHF-Elman)结构。然后,本文对自适应遗传算法(Adaptive Genetic Algorithm,AGA)进行了适当改进,并基于改进的AGA提出了一种网络参数优化算法,分别优化神经网络的隐含层节点数目和初始权值、阈值。最后,使用提出的这个网络参数优化算法优化DHOHF-Elman神经网络参数,并将优化后的DHOHF-Elman神经网络应用于空气质量时间序列预测。本文的主要工作和创新点可以概括为以下三个方面:(1)改进了Elman神经网络拓扑结构。基于传统Elman神经网络,总结时小虎等人提出的OIF-Elman和OHF-Elman的优缺点,本文设计了一种特殊的输出层反馈,提出了一种同时包含内部反馈和外部反馈的双隐含层Elman神经网络——DHOHF-Elman神经网络。为了验证提出的DHOHF-Elman网络结构的有效性,本文将DHOHF-Elman神经网络同传统的Elman神经网络和时小虎等人提出的OIF-Elman神经网络进行对比实验。实验结果表明:本文提出的DHOHF-Elman神经网络相比其他两种Elman神经网络具有更高的预测精度和更快的收敛速度。(2)提出了一种基于遗传算法的网络参数优化算法。该网络参数优化算法的中心思想是使用改进的自适应遗传算法AGA确定DHOHF-Elman网络隐含层节点数和初始权值、阈值。将隐含层节点数和初始权值、阈值采用不同的编码方式进行编码,并采用对应的选择、交叉、变异操作进行遗传进化,解码最优适应度值对应的染色体个体即可得到相应的隐含层节点数和初始权值、阈值。为了验证本文提出的网络参数优化算法的有效性,本文分别对网络隐含层节点数优化算法和网络初始权值、阈值优化算法设计了两组对比实验进行验证。实验结果表明:1使用本文提出的网络隐含层节点数优化算法比使用枚举法找到最优或次优隐含层节点数耗时更少;2在训练网络之前使用本文提出的网络初始权值、阈值优化算法,这个过程虽然会耗费大量时间,但是使用优化后的初始权值、阈值比随机获得的初始权值、阈值具有更好的效果,能够使网络训练过程更加平稳,避免了陷入局部最优解,具有更快的收敛速度和更高的预测准确性。(3)空气质量时间序列预测。基于本文提出的DHOHF-Elman网络结构和网络参数优化算法,使用空气质量时间序列数据进行实验,预测下一时段臭氧浓度。为了验证方法的有效性,在纵向上,将DHOHF-Elman神经网络同其他Elman神经网络(如:传统的Elman神经网络和OIF-Elman神经网络)进行对比实验。在横向上,同其他时间序列预测方法(如:灰色预测法和NARX神经网络预测法)进行对比实验。实验结果表明:使用本文提出的DHOHF-Elman神经网络及网络优化算法在一定程度上可以提高网络在时间序列预测方面的预测精度,避免陷入局部最优解,加快收敛速度。
【学位授予单位】：西南大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP183
【图文】：

网络拓扑结构图,Elman神经网络,创新点,内容

图 1-1 主要研究内容如图 1-1 所示，本文的主要研究内容和创新点可以归纳为以下三个方面：（1）对传统 Elman 神经网络的网络拓扑结构进行改进传统 Elman 神经网络拓扑结构涉及到输入层、隐含层、承接层和输出层。承接层充当反馈隐含层历史信息的作用，作为内部反馈，接收和存储隐含层之前时刻的历史信息。但事实上每一层的反馈都将影响到最终的输出结果，本文设计了一个同时包含内部反馈和外部反馈机制的双隐含层网络结构——DHOHF-Elman 网络结构。该结构在传统 Elman 神经网络的基础上增加输出层的反馈，将反馈信息存储在第二承接层中，并传递给第二隐含层作为其部分输入。同时，为了减少网络收敛过程中的震荡，提高收敛速度，本文采用一种具有动量和自适应学习率的优化梯度下降算法作为 DHOHF-Elman 神经网络的学习算法，通过与传统 Elman神经网络和时小虎等人提出的 OIF-Elman 神经网络进行对比实验，得出本文提出的 DHOHF-Elman 网络具有更高的网络性能。（2）提出了一种网络参数优化算法使用改进的自适应遗传算法 AGA 确定网络隐含层节点数和初始权值、阈值。

Elman神经网络

而 Elman 神经网络则是在前馈型网络的隐含层上引入了一网络。Elman 神经网络的承接层存储了隐含层之前时刻的隐含层进行内部反馈，这使得 Elman 神经网络能够处理动经网络能够反映系统动态过程的特性之所在。an 神经网络的网络拓扑结构由四部分构成：第一部分为点，这些节点单元仅仅起到传输信号的作用；第二部分为层神经元，接收来自输入层节点的输入和承接层节点的反接层，每个承接层神经元有且仅有一个与之对应的隐含层别记忆和存储与之对应的隐含层神经元以前时刻的输出值隐含层神经元。第四部分为输出层，输出层神经元接收来，仅起到线性加权的作用。承接层神经元的时延反馈作络对历史数据具有较强的敏感性和动态的记忆功能。传络结构如图 2-1 所示。

曲线图,曲线图,阈值函数,函数

（a）（b）图 2-2 Sigmoid 型函数曲线图an神经网络输出层神经元通常起线性加权的作用，因而其上的激活函一类线性函数来充当。比如常见的线性函数、斜面函数和阈值函数等、斜面函数和阈值函数公式分别对应公式（2-12）、（2-13）、（2-14）。图像分别如图2-3中（c）、（d）、（e）所示。性函数（linear function）：g ( x ) k x c（2-12）面函数（ramp function）：,( ) ,,T x cg x k x c x cT x c （2-13）值函数（threshold function）：1,( )x cg x （2-14）

【参考文献】