BP神经网络的发展现状综述(1)

  本文关键词：BP神经网络的发展现状综述，由笔耕文化传播整理发布。

山西电子技术2008年第2期

综 述

BP神经网络的发展现状综述

周 政

(太原市自来水公司技术处,山西太原030009)

摘 要:讨论目前人工神经网络领域中BP神经网络的特点、改进算法以及在实际中的应用。主要包括模式识别及分类、故障智能诊断、图像处理、函数拟合、最优预测等方面的应用。最后对目前人工神经网络的存在问题和发展前景做了初步探讨。

关键词:神经网络;BP网络;应用;发展现状中图分类号:TP183 文献标识码:A

0 引言

人工神经网络(简称神经网络)具有复杂模式和进行联想、推理记忆的功能,它是解决某些传统方法所无法解决的问题的有力工具。目前,它日益受到重视,同时其他学科的发展,为其提供了更大的机会。1986年,Romelhart和Mc-clelland提出了误差反向传播算法(ErrorBackPropagationAlgorithm,简称BP算法),由于多层前馈网络的训练经常采用误差反向传播算法,人们也常把多层前馈网络称为BP网络。由于具有结构简单、工作状态稳定、易于硬件实现等优点,在众多的神经网络模型中,BP网络的应用最为广泛,尤其是在模式识别及分类、系统仿真、故障智能诊断、图像处

[1]

理、函数拟合、最优预测等方面。

1 BP网络的描述

BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出(教师信号)不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的。权值不断调整的过程,也就是网络学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的学习次数为止。BP网络模型中如图1所示的单隐层网络(三层前馈网)的应用最为普遍。主要包括输入层、隐层和输出层。

三层前馈网中,输入向量为X=(x1,x2,,,xi,,,xn)T,如加入x0=-1,可为隐层神经元引入阈值;隐层输出向量为Y=(y1,y2,,,yj,,,ym)T,如加入y0=-1,可为输出层神经元引入阈值;输出层输出向量为O=(o1,o2,,,ok,,or)T。期望输出向量为d=(d1,d2,,,dk,,dr)T。输入层到隐层之间的权值矩阵用V表示,V=(V1,V2,,,Vj,,Vm),其中列向量Vj为隐层第j个神经元对应的权向量;隐层到输出层之间的权值矩阵用W表示,W=(W1,W2,,,WK,,,Wr),其中列向量WK为输出层第k个神经元对应的权向量。它们之间的关系为

:

收稿日期:2007-11-22 作者 周政 男 40岁 工程师

图1 BP网络模型

Ok=f(netk) k=1,2,,,rnetk=

(1)(2)(3)(4)

j=0

66

n

m

wikyj k=1,2,,,r

yj=f(netj) j=1,2,,,mnetj=

其中转移函数:

11+e以上算式(1)~(5)为三层前馈网的数学模型。

BP学习算法的权值调整计算公式为:

$wjk=GD0kyj=G(dk-0k)ok(1-ok)yj

f(x)=

$vij=G(

vijxi j=1,2,,,m

i=0

(5)

(6)(7)

k=0

6Dkwjk)yj(1-0

r

yj)xi

其中GI(0,1),表示学习率。

2 BP网络存在的问题

将BP算法用于具有非线性转移函数的三层前馈网络,

可以以任意精度逼近任何非线性函数,这一非凡优势使三层前馈网络得到越来越广泛的应用。然而标准的BP算法在应用中暴露出不少内在的缺陷:

1)易形成局部极小而得不到全局最优;

2)训练次数多使得学习效率低,收敛速度慢;

  本文关键词：BP神经网络的发展现状综述，，由笔耕文化传播整理发布。