分数阶复值前馈神经网络学习算法的设计和分析

发布时间：2021-11-10 13:37

　　复值神经网络是一类用复数变量解决复杂问题的网络。梯度下降法是训练复值神经网络的流行算法之一。目前,建立的传统网络模型大多数是整数阶模型。与经典的整数阶模型相比,建立在分数阶微积分上的模型在记忆储存和遗传特性上都具有显著的优势。源于分数阶微分系统特性和复数的几何意义,分数阶复值神经网络具有比整数阶复值情形更为优越的记忆特性。本文基于分离复值神经网络,利用分数阶导数来训练分离复值神经网络（Split-complex neural networks,SCNNs）。根据误差函数关于权值的梯度的不同定义,提出了两种权值更新方法。借助微分中值定理和不等式分析技巧,并且在常学习率下,证明了分数阶复值神经网络学习算法在训练迭代中的误差函数是单调递减的,并且误差函数关于权值的梯度趋于零。此外,数值模拟已经有效地验证了其性能,同时也说明了理论结果。本文主要工作如下:1.提出了分数阶复值神经网络算法。通过使用分数阶最陡下降法（FSDM）,描述了基于Faàdi Bruno’s formula的分数阶复值神经网络（FCBPNNs）的实现。2.提出一种基于Caputo定义的分数阶复值神经网络学习算法。在适合的激活... 

【文章来源】：中国石油大学(华东)山东省 211工程院校 教育部直属院校

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

神经元模型

中国石油大学（华东）硕士学位论文9图2-2变量为复数u的Sigmoid函数图像Figure2-2Sigmoidfunctionofcomplexvariableu这种使用实虚型激活函数的复值神经网络在处理n维复值信息时，更贴近实际运算规则，能够得到更好的效果。2.2.2振幅相位型激活函数除了实虚部型激活函数外，振幅相位型激活函数应用也较为广泛，其表达式为：()tanh()exp(arg()),apfuuiu(2-5)定义(2-5)表示在振幅上饱和，而相位不变。振幅相位型激活函数如图2-3所示。从图2-3(c)和(d)中可以清楚地观察到，它与原点(0，i0)有关。与实虚型激活函数相比，振幅相位型激活函数与实、虚轴的设定无关。因此，它适用于处理能够在坐标原点旋转的信息。尤其是，它适用于处理波或与波有关的信息。我们假设波幅对应于神经网络中复变量的振幅，而波相位对应于神经网络中变量的相位。非线性函数的饱和特性与波能的饱和有关，这在各种物理现象中都有广泛的观测(与此处理不同，我们在相位上分别处理可能与饱和相关的弱非线性)。此外，波的相位是按照时刻的进展或延迟而旋转的。波的实部或虚部在实际测量中可以被观察到。因此，在处理波时，振幅相位型激活函数中关于坐标原点的径向各向同性是可取的。

第2章预备知识10图2-3变量为复数u的Sigmoid函数图像Figure2-3Sigmoidfunctionofcomplexvariableu2.3分离复值神经网络复值神经网络又可以分为分离型CVNNs和全复型CVNNs。而对于分离复值神经网络（SCNNs）来说，根据SCNNs权值向量的特点可以进一步将其分为两类：1.实值权值向量和实值激活函数的SCNNs；2.复数值权值向量和实数值函数激活的SCNNs。2.3.1实值权值向量和实值激活函数的SCNNs具有实值权值及实值激活函数的SCNNs结构可以参照经典的实值多层感知器（MLP）网络的反向传播算法。这里面的，把输入的复数值信号分为两个实数值变量，也就是实部变量和虚部变量。图2-4实值权值向量和实值激活函数的SCNNsFigure2-4RealweightvectorandrealactivationfunctionofSCNNs实数值的输入信号：212211[,,,][Re(),Im(),Re(),Im()]mTTmmmxRxxxzzzz

【参考文献】：
期刊论文
[1]BP网络学习能力与泛化能力之间的定量关系式[J]. 李祚泳,易勇鸷.  电子学报. 2003(09)



本文编号：3487357