具有最优学习率的RBF神经网络及其应用

  本文关键词：具有最优学习率的RBF神经网络及其应用，由笔耕文化传播整理发布。

第4期卫敏等：具有最优学习率的RBF神经网络及其应用

—51—

φ（r）=

11+exp

r(σ)

2

［10］

2

1/22

（2）

权重wi需要通过反复学习（训练）来使神经权重的计算网络的输出达到其准确性．在本文中，

方法为最小均方算法（leastmeansquare，LMS），网络的学习算法为梯度下降法（gradientdescent）．梯度下降法是优化算法的一种［16］，在RBF神经网络学习过程中，使权重沿着与目标函数梯度相反的方向进行逐步调整，最终求得权重的最优值，使网络最优化．权重的调整过程可表示为

w（t+1）=w（t）－η

d

E（w）dwt

（5）

3）Multiquadrics函数

2

（3）φ（r）=（r+σ）

2

这里r为径向基函数的半径，而σ为径向基函数的方差．

在众多可选的径向基函数中，人们通常选择Gaussian函数作为RBF神经网络的径向基函数．因为Gaussian函数从中心到两边单调递减，所以其回应是局部有限的，具有更加逼真的生物特．与之相对比的是，Multiquadric函数的回应是全局且无限的，因为Multiquadric函数从中心征

到两边单调递增．

选定径向基函数之后，通过对这些函数的结

RBF果进行线性求和，就可以得到输出值．这样，神经网络就完成了一个映射f∶R→R，公式如下：

n

r

［13］

其中t表示迭代的次数，目标函数Et（w）通常为成本函数（costfunction），η为学习率（learningrate），亦称搜索步长．

在RBF神经网络的使用中，学习率通常被人为主观地设为一个固定值，在整个网络学习过程这样的方法存在着很多问题：如果学中保持不变，

网络的收敛速度可能会很快，但也习率设置过大，

有可能会导致网络不稳定甚至无法学习；而学习率过小又会导致网络收敛速度慢，消耗大量的计算时间，无法满足实际应用的时效要求．同时，不同的RBF神经网络需要选择不同的学习率，这给RBF神经网络的使用带来了很大的不便．因此，对于传统RBF神经网络来说，，选择一个合适的学习率是非常困难的．为了解决这样的问题，将会推导“动态最优学习率”，这种学习率在每一种新型的

一步迭代都会进行优化计算，是可变的学习率．动态最优学习率对于每一步迭代来说都是适用的，在保证网络稳定学习的同时兼顾网络的收敛速度，提高网络的运行效率．

f（x）=w0+

wiφ（‖x－ci‖）∑i=1

（4）

r

ci（1≤i≤n）为RBF神其中x∈R为输入向量，

经网络的中心，范数‖·‖表示欧氏距离，

wi（1≤i≤n）为线性求和的权重，wo表示偏差（bias）．如上文所述，选择Gaussian函数作为径向）．通常，RBF神经网络的中心ci被设基函数φ（·为不变

［14］

．

中心ci的选择方法有三类：1）固定中心法．这种方法从输入数据集中随机选择中心，比较适用于训练数据的分布很有代表性的情况．其缺陷是容易使网络表现不理想或使网络体积过于庞［10］

大．2）自组织选择法．K－均值聚类法就是自组织中心选择法的一种，这种方法将输入数据集进行聚类，将聚类的中心作为网络的中心．这种方法的优点是可以将RBF中心设置成相对较重要的数据点，其缺陷是如果初始聚类的中心是准确那最终结果可能会是局部最优解．3）有监督的，

的中心选择法．这种方法需要在网络学习过程中确定成本函数，中心的确定过程就是使成本函数

［15］

最小的过程，这种方法通常要用到梯度下降法（gradientdescent）．为了避免上述几种方法所产生的问题和不便，使用了一种更加完善的中心选择方法：正交最小二乘法（orthogonalleastsquares）［10］．

1

1．1

RBF神经网络动态最优学习率

RBF神经网络动态最优学习率推导RBF神经网络由RBF神经网络的结构可知，

的输出为

n

f（x）=

wiφ（‖x－ci‖）∑i=1

（6）

wi为连接其中，φ（‖x－ci‖）为Gaussian函数，权重，偏差（bias）w0在这里被简化为权重的一部分．φ（‖x－ci‖）可表示为

  本文关键词：具有最优学习率的RBF神经网络及其应用，由笔耕文化传播整理发布。