一种基于遗传算法的BP神经网络算法及其应用
本文关键词:一种基于遗传算法的BP神经网络算法及其应用,由笔耕文化传播整理发布。
第39卷第5期 2003年9月
南京大学学报(自然科学)
JOURNAL OF NANJ ING UNIVERSITY
、b1.39。No 5 Sept.,2003
(NATURAL SCIENCES)
一种基于遗传算法的BP神经网络算法及其应用’
王崇骏“,于汶滁,陈兆乾
,谢俊元
(南京大学计算机软件新技术国家重点实验塞,南京,210093) 摘要: 主要分析了神经网络和遗传算法的特点和存在的一些缺陷,研究了遗传算法和BP神
经网络学习算法相结合的相关技术,设计并实现了一个基于遗传算法的BP神经网络算法BP— GA,已应用于肺癌早期细胞病理诊断系统中.实验结果表明,该算法具有较强的收敛性和鲁棒 性,其应用效果很好 关键词:神经网络,遗传算法,软计算 中图分类号:TP
183
A BP Neural Network Algorithm Based
on
Genetic Algorithms and Its Application Wang Ckon90“n,Yu Wj".胧,Chert Zhao-Oian,ⅪP Jun—Yuan
(State
Key Laboratory for Novd Software
Teclmology,Nanjing University,Nanjing 210093,China)
strocture
Abstract:The nr:del
0f Deoral netw"rks maily includes the f01lowing three elements:(1)the
of
neural networks including the layers aid their
relation;(2)the function of neural call;(3)the algorithms of
learning
There
are
many limitations implementing the neural network according t。the integration of BP neural BP—GA.a BP neural
network learning a|gorlthtlts With genetic aIgorithnls Hlgorithrns is
notwork algorithm
based
aS
on
genetic unitary
designed and implemented
is
7Fhis algoritlHn
looks
on every IllatIix
Of BP neural network
aIl
chromosome that
as
opemted by the three
major oxitlmaetic
operators
including
setection.cn,;sov盯and
mutation
The
the normal
genetic
algoriflmts.This mixed algorithm has
been剖in
the
d【a静vm
of lung
in
ca/leer
experimental results show that the algorithm has bmter oonvergence,r曲usme≈,and better effect
application
Key wiit.dsI
neura[networks,genetic algorithms,soft cornputing
作为对人类智能研究的重要组成部分,神经网络一直是人工智能、神经科学、认知科学、 心理学、行为学等学科共同关心的焦点自20世纪80年代以来,神经网络的研究吸引了大
*基金项目:江苏省自然科学基金(BK2001202,BK2002081) 收稿日期:2002—09—30 ¨通讯联系人。E-mail:chjwang@m nju.edu cn
万 方数据
南京大学学报(自然科学)
第39卷
批研究人员的注意,在神经网络的理论模型、学习算法、开发工具等方面进行了广泛深入的 探索,经过多年的研究,在许多领域都取得了令人瞩目的成就“1。. 从建模或机器学习的角度而言,神经网络模型有多种方式,但其中都包括3个基本的要 素,即:网络拓扑结构、神经元特性函数和学习算法.这3个要素的不完备造成神经网络存在 以下几个局限:(1)样本数据要求高,样本选择比较困难;(2)计算速度慢,收敛与否不可控; (3)外推性比较差;(4)神经网络训练的结果使输入输出呈非线性关系,吼至于训练得到的权 值和阌值不可理解;(5)神经网络的可扩展性比较困难等等, 正因为如此,神经网络技术的应用效果完全取决于使用者的经验.虽然Homik等人”1 证明,仅有一个非线性隐层的前馈网络就能以任意精度逼近任意复杂度的函数,但一些研究 者f81指出,对网络的配置和训练是NP问题.在解决真实世界问题时。由于缺乏问题的先验 知识,往往需要经过大量费力耗时的实验摸索才能确定台适的神经网络模型、训练算法以及 参数设置,其应用效果完全取决于使用者的经验.即使采用同样的方法解决同样的问题,由 于操作者不同,其结果也很可能大相径庭 针对上面提到的问题,有许多文献都阐述了各自的观点或算法进行神经网络技术应用 的改进方案.文献[9]提出FTARTl至FTART4等一系列新型神经网络模型,从网络拓扑 结构的角度对神经网络性能进行研究.文献[10]对神经网络的可理解性、可扩展性以及样本 噪声问题进行了研究. 遗传算法(GA)是模拟自然选择和遗传的随机搜索算法这一算法的提出之初是研究自 然系统的自适应行为并设计具有自适应功能的软件系统.遗传算法作为问题求解和最优化 的有效工具,从20世纪80年代末开始就引起了学者的注意,至今已有大量的研究成果【It J. 遗传算法应用于神经网络引起许多学者的特别注意,这其中主要包括连接权系数的优 化、网络结构的优化和学习规则的优化.遗传算法与神经网络相结合,已成功地用于从时间 序列分析来进行财政预算.在这些系统中,神经网络的训练信号是模糊的,数据是有噪声的, 一般很难正确给出每个执行的定量评价.如果采用遗传算法来学习,就能克服这些困难,显 著提高系统性能.MuhlerLbein分析了多层感知机网络的局限性,甚至猜想下一代神经网络 将是遗传神经网络. 1
1.1
BP网络和遗传算法
BP神经网络BP神经网络(以下简称BP)是应用最广泛也是最成熟的一种人工神经
网络,现已广泛应用于信号处理、模式识别、系统辨识、自适应控制等领域常规的BP神经 网络的应用要点是初值的选取和学习速率的设定,其主要的学习过程是:将输入模式从输入 层经隐层单元逐层处理,并传向输出层,每一层神经元的状态只影响下一层神经元的状态. 如果在输出层不能得到期望的输出,则将误差信号沿原来的连接通路反向传播,通过修改各 神经元的权值,使误差信号最小. 通常采用的方法是梯度下降法,即扩展的8规则,因此在算法上就要求神经元的特性函 数必须是可导的.而且,由于该算法两次迭代的搜索方向总是正交的,即 [一V,(日^+1)]·[一v,(n^)]=0 这就说明,该方法在寻优(极小点)的过程中会产生“锯齿现象”,甚至陷入局部最小.而
万 方数据
一~— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — 一
第5期 王崇骏等:基于遗传算法的BP神经网络算法
’461。
且在训练的过程中,第一个样本的误差总是最大的,最后一个样本的误差总是最小的,这显 然是不科学的
1
2遗传算法遗传算法是一种用于全局优化搜索的迭代算法,它将生物进化过程抽象地
描述为复制、交叉、变异3个算子.该算法在每一次迭代时都拥有一组解答,这组解答最初是 随机生成的.在每次迭代后又有一组新的解答由模拟进化和继承的遗传操作生成,每个解答 都由一个目标函数给予评价,而且这一过程不断重复,直至达到某种形式上的收敛.新的一 组解答不但可以有选择地保留一些目标函数值高的旧的解答,而且可以包括一些经由其他 解答结合而得到的新的解答. 因为遗传算法在每一次迭代(进化)过程中都是把有竞争力的基因保留,这就意味着遗 传算法的结果总是在寻找该评价函数意义下的最优值而这种寻优在数学上是可以证明的, 所以将遗传算法运用于寻优过程是可靠的、鲁棒的GA算法的几个关键问题分别是编码方 案的选取、参数的选择和适应度函数的确定. 1.3遗传算法和神经网络的结合遗传算法和神经网络(NN)的集成主要采用互相辅助的 形式,通常的两种做法是: (1)在以GA为主的系统中,利用嵌人式NN模块的学习能力,为GA提供较好的初始 种群,从而达到优化GA的目的. (2)在以NN为主的系统中,使用GA辅助NN进行各种形式的优化,通常做法有:①使 用GA辅助神经网络分类器选择相关的特性或变换所用的特征空间;⑦选择学习规则或控 制NN学习参数,进行神经网络训练;③分析神经网络、评价神经网络参数及学习规则 大多数研究者发现,使用GA辅助NN比使用NN辅助GA更加自然,本文讨论的BP— GA算法就是利用GA辅助NN进行网络权系的训练和优化
2一种基于遗传算法的BP神经网络算法BP—GA
2.1
BP—GA算法的设计基于遗传算法的BP神经网络算法(以下简称BP—GA)就是在
BP神经网络的学习过程中,将权重和阀值描述为染色体,并选取适宜的适应函数,然后进行 GA迭代,直到某种意义上的收敛.与普通BP学习算法相比,算法BP—GA的优势在于可以 处理一些传统方法不能处理的例子,例如不可导的特性函数(传递函数)或者没有梯度信息 存在的节点.该算法涉及到两个关键问题,分别是染色体位串与权系值的编码映射和评价函 数[1“.
2.1
1染色体位串与权系值的编码映射考虑到一个输入结点为i、隐含结点为j、输出结
点为k的神经网络,BP神经网络训练的结果将生成4个矩阵: Wll (1)输入层到隐含层的权值矩阵w W2l Wil W11 W22 Wf2 w1J
W2j
●●●
WO
万 方数据
——————————一—————————————————————一————————————一——
.462.
y1 72
南京大学学报(自然科学)
第39卷
(2)隐含层的阀值矩阵
y
_●●
(2)
乃 V11
Vzl V12 Vlk Vak
’●’
(3)隐含层到输出层的权值矩阵V=
%
(3)
%
(4)输出层的阀值矩阵
n=睦
(4)
NTNIIIGA进行BP网络的权系值优化,即上述4个矩阵w、r、V和h的优化,必须 考虑将以上4个矩阵转换成为方便GA操作的染色体串.一般而言,用一个二进制串作为染 色体编码,每z个染色体位代表一个系数值,而z的取值范围则根据权系值的范围和精度 要求确定.染色体位串和权系值的编码映射关系如图1所示.
酷::毪当::邕::毪名::台
z
÷●—+i
国1染色体和权系值的编码映射 Mappfng from wel曲臼to ch呻瞄on糟
Fig.1
2.1.2适应度函数为了使用GA算法优化权系值,必须有一个用于评价染色体的适应度
函数,在BP—GA算法中,使用一种基于输出层误差的适应度函数f,定义如下:
当蓦(跏一如)2>c一时,,Cn础--菪(卵 由)2;当耋(蛳~由)2≤c一时,,。o,其中
c。。是可能产生的误差最大值.
2.2
(5)
BP—GA算法 (1)初始化样本数据,具体工作是:将样本数据录入至输入矩阵input,(s=1..i)和输
出矩阵output;(s=1,..j)(这里假定输入层结点为i个,输出层结点为j个,样本数为P 个),设定学习速率为a和卢;同时随机生成染色体数据z;(s=1.N),并设定交换概率盔 和变异概率户。. (2)until满足性能要求,do
(3)begin
万 方数据
一— — — — — —一— — — — — — — — — — — 一
第5期 王崇骏等:基于遗传算法的BP神经网络算法
’463。
(4)for/step=1
(5)begin
to
N do
(6)将本次操作的染色体通过编码映射生成矩阵W、7、V (7)Z=0
(8)对所有样本,通过权系数矩阵W、y、V计算出每一样本的输出并计算出每一样本
的输出误差及误差总和其中,每一个样本的输出误差是:Ad:2羔(掣。一ym)2,其中yx是
计算的输出,y是样本输出.所有样本的输出误差总和是:。2点△d。
(9)根据z,结合公式(5)算得本染色体的适应度函数, (10)end (儿)此时,根据各个染色体的适应度函数值,利用轮盘法进行复制操作 (12)if(需要交换)
(13)begin
(14)对这些染色体进行交换操作
(15)end
(16)if(需要变异) (17)begin (18)对这些染色体进行变异操作 (19)end (20)end 3
BP—GA算法的实验和比较
3.1实验结果我们与中国人民解放军八一医院联合研制了一个肺癌早期细胞病理电脑 诊断系统,对肺部切片的镜像图像进行模式识别以确定该组织细胞是否发生癌变.在临床应 用中,肺癌细胞共分为腺癌细胞、鳞癌细胞、小细胞癌细胞和核异型细胞,在数据表达上分别 使用整型的1、2、3、4表示其对应的分类.早期肺癌诊断的基本过程是图像数据采集、图像特 征值提取和模式识别,在模式识别的过程中,本系统采用了基于BP—GA算法的神经网络 诊断 该系统在调试和试运行期间,共对该院的188个病例(119个显微镜切片,255幅显微图 像)进行了自动诊断.诊断界面为图2所示.其具体的诊断结果参见表l
表1系统试运行诊断结果分析
Table l Identification
rates
based
on
BP—GA
万 方数据
———————————————一———————————一———
.464.
南京大学学报(自然科学)
第39卷
图2基于BP—GA神经网络的诊断界面
Fig.2 A result based
on
BP—GA
从表l可以看出,系统总的诊断正确率达到了90%以上此外还分别对鳞癌细胞图像、 腺癌细胞图像和小细胞癌细胞图像进行了测试,其结果为:鳞癌细胞的识别率最高,约为 96%,腺癌细胞次之,约为89%,小细胞癌细胞最低,约为83%.约有10%~13%的非癌细 胞被误识别为癌细胞,也就是说系统的假阳性率约为10%~13%.这些被误识别的癌细胞 主要包括一些杂质、染色的染料及一些正常的细胞,它们在形状和颜色上与癌细胞很相似, 说明该系统还需在图像预处理方面进行提高 3.2性能比较为了比较BP—GA算法和BP算法的异同,我们将两种算法的学习情况作 了实验比较. 在进行BP算法实验时,选用的样本数是550,学习速率“=0.7,口=0.7,输入层结点14 个(共有14个特征点),输出层共有5个结点(分别对应上面所述的4种癌细胞和正常细 胞),隐含层9个 在进行BP—GA算法实验时,选用的样本数是550,交换概率P,=0.7,变异概率P。= 0.2,输入层结点14个,输出层结点5个,隐含层9个,种群规模300个 两种算法的学习情况如图3和4所示,图3是采用BP算法进行网络训练时的学习过 程,其中纵坐标表示每次训练时的平均误差,横坐标是训练次数.图4是采用BP—GA算法 进行网络训练时的学习过程,其中纵坐标表示每次训练时的平均误差,横坐标是训练次数 由图3和图4可以看到,BP算法在迭代到3 000次以后趋于收敛,但仍然存在“锯齿现象”; BP—GA算法在迭代生成26代以后就已经收敛,而且不存在“锯齿现象”,显然,在收敛方面 BP—GA优越于BP算法
万 方数据
第5期
王崇骏等:基于遗传算法的BP神经网络算法
’465
图3
Fig.3
BP算法学习过程误差曲线
Error-curve
圈4
Fig.4
BP—GA算法学习过程误差曲线
Etlm4--curve
of BP learning
of BP—GA learning
但是应当注意到,BP—GA算法收敛后的误差为0.22左右,而BP算法趋于收敛后的误 差在0.20左右,经过分析,我们认为这主要是BP—GA算法实现时使用的种群规模偏小造 成的,在扩大种群规模后,这个误差可以缩小.但是应当注意到,由于BP~GA算法在扩大 种群规模的时候.其用于存储染色体的存储空间直线变大,对于网络结构比较复杂的神经网 络更是如此,这也是该算法的一个缺点,有待于改进.
4结束语
GA和NN都是基于生物学基础上的科学研究成果,但两者的本质是不同的.将其进行 结合研究,一是希望借鉴二者的长处,寻找一条求解复杂问题的途径;另一方面,也借助两者 的结合,使人们更好地理解进化和学习的相互关系,以便改进神经网络的不足. 根据本文研究的结果表明,GA和NN结合的效果很好,而且这在生物学上是有相应的 理论解释的:细胞凋亡学术界认为许多细胞在发育的过程中会因为外在的原因(对应于神经 网络中的样本输人)和内在的某种机制(对应于神经元特性函数)导致该细胞程序性死亡从 进化意义上而言,这是该细胞不适应环境的结果,在人体的机体组织发展过程中就体现在许 多以前该细胞承担的功能没有了或减弱了,这与本文BP—GA算法中提到的用GA调整权 值,结果是一样的本文的研究结果表明细胞凋亡理论与神经网络的学习互相结合,是很有 研究价值和应用前景的.
[1]Huang W M.Lippnmml
Processing
R P
Neural
net
and traditiond cle。Ksifiers
Anderson
D
Neural Information
S州∞B.New
RP
York:American Institution
of Physl∞.1988:387~339
[2]Lippmann [3]Lealg
Pattem cta.mificatlon using neural networks.IEEE Cormnmalcatlon Magzine,1989,27
(11):47--64.
K
J,Waibel A H,,Hinton G E Networks,1990,3(1):23--44
A time-delay network architecture for isolated word recognition.
Neural
万 方数据
.466.
南京大学学报(自然科学)
第39卷
[4]Lu XQ,LiN,Chen
the recognition of lung
S F.Re-search
ca】lcer
OD
application
ofmorphologi"c01.colorfeaturesand neural networkto
calls.Journal of Computer-aided Design and Computer Graphics,2001,13
(1):87~92(陆新泉.李宁,陈世福.形态、颜色特征及神经网络在肺癌细胞识别中的应用研究 计算机辅助设计与图形学学报,2001,13(1):87~92) [5]Jimag
Y,Zhou z H,Xie
Q,et a1.Application 0f network en.semble in lung
Callcer
cell identification-
Journal ofNanjingUniversity(Natural Sciences),2001,37(5):529-534.(姜远,周志华,谢琪等
神经网络集成在肺癌细胞识别中的应用.南京大学学报(自然科学),2001,37(5):529--534). [6]Homik
Neural K
M,Stinchcx)mbe M,White H.Multilayer feedforward networks
02"e
universal approximators
Networks,1989,2(2):359--366
S Learning in networks is
[7]Judd J
tmrd.Proceedings of
the 1st IEEE
International.Conterence
On
Neural
Networks.1987,2:685~692
[8]BaumEB.Hnld目D.W]!at sizenet西vesvalid [9]zk)u
z H.Chen Z
generallzaficta?Neural{撕聊l忉妇,1989,I(1):151~160
thmry hosed adaptive
resonance
Q,Chen S F
Research of fidd
neural network
Journal ofNanjingUniversity(Natuxal Sciences),2000,36,(2):140~147(周志华,陈兆乾,陈世福.
基于域理论的自适应谐振神经网络研究南京大学学报(自然科学),2000,36(2):140 [10j
Zhou z H,(;hen S F,Chen Z neural networks
147).
Q.A statistics based approach for extracting pfiorky rules from trained
of the IEEE-INNS-ENNS International
Proceedings
Joint
G∞ference
Oh
Nearal
Networks.Italy:Colr『lo,2000,3:401--406,
111 J
Schaffer
J D.Procceedings of the Third International Conference
on
Genetic
Algorithms.San Mateo.
CA:Morgan kaufmann Publishers,Inc.1989.
[12]Belew
R
K,Booker L B.Procceedings of the Fourth international Conference
on
Genetic Algorithms.san
Mateo,CA:Morgan Kaufnmml Publishers,lnc,1991.
万 方数据
一种基于遗传算法的BP神经网络算法及其应用
作者: 作者单位: 刊名: 英文刊名: 年,卷(期): 被引用次数: 王崇骏, 于汶滌, 陈兆乾, 谢俊元 南京大学计算机软件新技术国家重点实验室,南京,210093 南京大学学报(自然科学版) JOURNAL OF NANJING UNIVERSITY(NATURAL SCIENCE) 2003,39(5) 14次
参考文献(12条) 1.Huang W M.Lippmann R P Neural net and traditional classifiers 1988 2.Lippmann R P Pattern classification using neural networks 1989(11) 3.Lang K J.Waibel A H.Hinton G E A time-delay network architecture for isolated word recognition 1990(01) 4.陆新泉.李宁.陈世福 形态、颜色特征及神经网络在肺癌细胞识别中的应用研究[期刊论文]-计算机辅助设计与图 形学学报 2001(01) 5.姜远.周志华.谢琪 神经网络集成在肺癌细胞识别中的应用[期刊论文]-南京大学学报(自然科学版) 2001(05) 6.Hornik K M.Stinchcombe M.White H Multilayer feedforward networks are universal approximators 1989(02) 7.Judd J S Learning in networks is hard 1987 8.Baum E B.Haussler D What size net gives valid generalization? 1989(01) 9.周志华.陈兆乾.陈世福 基于域理论的自适应谐振神经网络研究[期刊论文]-南京大学学报(自然科学版) 2000(02) 10.Zhou Z H.Chen S F.Chen Z Q A statistics based approach for extracting priority rules from trained neural networks 2000 11.Schaffer J D Procceedings of the Third International Conference on Genetic Algorithms 1989 12.Belew R K.Booker L B Procceedings of the Fourth international Conference on Genetic Algorithms 1991
相似文献(10条) 1.期刊论文 李敏远.都延丽 基于遗传算法学习的复合神经网络自适应温度控制系统 -控制理论与应用2004,21(2)
针对一类温度控制系统中存在的非线性和参数不确定等问题,提出一种复合神经网络自适应控制结构.在控制系统中构造了神经网络正模型来再现被 控对象的动态特性,用神经网络控制器实现优化控制律的非线性映射.文中选用了被控对象80组历史数据作为样本集,并利用遗传算法的全局搜索能力及高 效率来训练多层前向神经网络的权系数.最后用升降温工艺曲线作为输入对温度控制系统进行仿真.仿真结果表明,应用遗传算法能够提高神经网络的学习 效率,保证神经网络全局快速收敛,从而克服了传统的误差反传学习算法的一些缺点.证明了采用这种神经网络自适应控制结构,使神经网络控制器的输出 可以适应对象参数和环境的变化,使温度控制系统具有很好的学习和自适应控制能力,取得了良好的控制效果.
2.学位论文 王加银 几种数学方法的神经网络表示 1999
该文是继李洪兴教授的论文:数学神经网络(1-5)之后,进一步研究数学算法的神经网络可视化.该文着重讨论了变论域自适应模糊控制器的潜遗传、 显遗传及逐步显遗传等算法在单入单出情况下的神经网络表示;并首次提出了局部神经网络等概念,将工程学上处理复杂系统的方法引入神经网络的研究 .模糊关系方程的求解算法解算法的网络可视化及动态学习求解;其次,借助非监督学习算法常用的竞争学习算法实现了极小解求解算法的网络可视化,并 借助神经网络的存储功能进行了极小解的筛选和存储,最终确定了模糊关系方程解的结构.
3.期刊论文 刘书贤.赵艳霞.李奎明 遗传算法-神经网络方法的结构损伤识别 -辽宁工程技术大学学报(自然科学 版)2004,23(5)
应用人工神经网络技术,提取结构的固有频率的变化为特征参数,建立结构损伤识别模型,提出用遗传算法来调整神经网络的权值,并对一个框架模型 进行了损伤数值模拟计算,即基于遗传算法-神经网络方法的结构损伤识别的研究.该方法弥补了传统的神经网络BP网络收敛速度慢,易陷入局部极小点等 缺陷.结构表明,该方法具有收敛速度快和识别精度高的特点.
4.学位论文 李享梅 基于混合智能学习法神经网络理论及其应用的研究 2004
人工神经网络和遗传算法作为人工智能的两大分支,在近几年来,无论从理论还是应用方面都得到了长足的发展.由于人工神经网络中的BP神经网络结 构简单,可塑性强,具有良好的自适应、自学习、极强的非线性逼近、大规模并行处理和容错能力等特点,自1986年Rumelhart等人提出以来,被广泛应用于
系统建模、模式识别、地震勘探等重要领域.而BP算法数学意义明确,步骤分明,是神经网络中最为常用、最有效、最活跃的一种方法.该文首先分析了神 经网络和遗传算法的发展和应用现状,以及遗传算法的基本概念、构成要素、运算过程、特点、理论基础和基本遗传算法所涉及到的内容的研究,并将其 应用于优化前馈型神经网络的连接权问题.其次,研究了人工神经元的相关理论以及人工神经网络的特征、人工神经网络学习规则和BP神经网络的相关理 论和性能.第三,针对BP神经网络局部搜索能力强、全局搜索能力差和基于遗传算法的神经网络全局搜索能力强、局部搜索能力差的特点,该文提出了一种 集BP算法和遗传算法优点为一体的混合智能学习法,并将其应用到优化多层前馈型神经网络连接权问题.该方法集神经网络、遗传算法和BP算法优点于一 体,并从理论和实践两个方面论证了其可行性和实用性.最后,用VC++语言设计了BP神经网络、基于遗传算法的神经网络和混合智能学习法神经网络实现和 进行计算机仿真运行程序,并分别将它们应用于解决异或、函数拟合和高分辨率地震资料解释等问题,从实践中证明混合智能学习法神经网络与BP神经网 络和基于遗传算法的神经网络相比有更好的运算性能、更快的收敛速度和更高的精度.
5.期刊论文 张庆红.程国建.ZHANG Qing-hong.CHENG Guo-jian 基于遗传算法的神经网络性能优化 -计算机技术与 发展2007,17(12)
遗传算法是一种典型的进化算法.文中分析了遗传算法的特点和神经网络的特点,从而得出了把两种算法结合起来进行应用的思想.运用理论对比的方 法,阐明了用遗传算法进行神经网络性能优化的原因,并得出结论,认为用遗传算法进行神经网络性能优化促使了神经网络更进一步的应用.阐述了遗传算 法优化神经网络的两种主要方法,论述了遗传算法和神经网络的发展现状和将来的研究动向.
6.学位论文 李晔 基于一种改进遗传算法的神经网络 2007
随着时代的发展,科技的进步被控对象变得越来越复杂,其过程机理有许多不明之处,致使基于数学模型的传统控制方法难以奏效,因此提出很多 智能控制方法,其中神经网络控制是解决这些问题的有效途径,可用来处理不确定性的复杂系统,神经网络虽然具有自学习能力,但其内部机理不很明 确,知识表达困难。针对神经网络存在的不足,又考虑现在优化算法中,遗传算法具有鲁棒性、随机性、全局性、适于并行处理的优点,本文提出用遗 传算法优化神经网络,弥补神经网络的不足。 遗传算法是目前应用最广的优化搜索算法之一。目前,遗传算法已经在许多领域得到了应用,如函数优化、模型优化、结构优化、工业生产、图像 处理等等。但基本遗传算法易于陷入局部最优,在有些时候收敛速度过慢,这使得基本遗传算法很难找到全局最优。如何能够使遗传算法尽可能快地跳 出局部最优和如何能够提高遗传算法的收敛速度,是近年来遗传算法研究领域的热点。 本文针对简单遗传算法(SGA)应用过程中所存在的不易收敛、结果常常陷入局部最优、编码方式存在解码误差、收敛速度慢等缺点,提出使用一种基 于排序选择的改进遗传算法,并用其进行智能控制器的参数寻优。遗传算法的选择、交叉以及变异,每个环节的实现策略的改变都会对整个遗传算法的 寻优性能产生重要影响;而且需要其它环节做出相应的调整,才能达到比较理想的提高遗传算法寻优能力的目的。基于上述原因,提出基于排序选择的 改进遗传算法。所谓排序选择方法是指在计算出每个个体的目标值后,根据目标值的大小顺序对群体中的个体进行排序,适应度仅取决于排序后的个体 在种群中的位置,并且每个个体的选择概率等于根据它所处的位置按某种规律计算出来的概率。用改进的遗传算法优化调整神经网络的权值,将优化所 得参数作为神经网络的初始权值。这种针对神经网络控制器的结构特点,用遗传算法训练优化网络权重,得到的复合智能控制器具有很好的特性,既保 留了遗传算法的强全局随机搜索能力,又具有神经网络的鲁棒性和自学习能力,并且可兼有神经网络广泛映射能力和遗传算法快速全局收敛等性能。 将基于改进遗传算法的神经网络控制器用于二级倒立摆系统,通过仿真结果的研究表明,基于排序选择的改进遗传算法在神经网络权值寻优中,能 够充分发挥其全局寻优的特点,且能够很好的弥补BP算法训练时间长,响应速度慢的不足。
7.期刊论文 高志刚.李克鹏.李琦 基于遗传算法和神经网络的倒立摆控制系统 -江西电力职业技术学院学报 2004,17(3)
以单级倒立摆为对象,介绍了一种融合遗传算法的神经网络控制方法.该方法采用以多层前馈神经网络作为遗传搜索表示方法的思想,以神经网络为基 础,用遗传算法来学习神经网络的权系数,既保留了遗传算法的强全局随机搜索能力,又具有神经网络的鲁棒性和自学习能力.仿真结果证明:遗传算法和神 经网络的结合,可兼有神经网络广泛映射能力和遗传算法快速全局收敛等性能.
8.学位论文 刘春艳 基于遗传算法-BP神经网络的主汽温控制系统的研究 2006
在火力发电厂中,对主汽温的控制有较高的要求,但是由于电厂主汽温是一个典型的具有大迟延、大惯性、非线性及时变性的复杂系统,利用经典 控制理论对主汽温进行控制存在一些不足。 本文在常规PID控制的基础上,提出了采用遗传算法与BP神经网络结合的PID控制策略。该策略采用基于遗传算法的BP神经网络来建立参数自学习的 PID控制系统,从而实现对主汽温的有效控制。 本文首先对BP神经网络和遗传算法的优缺点进行了分析;然后把神经网络和遗传算法结合起来,充分利用两者的优点,使新算法既有神经网络的学 习能力和鲁棒性,又有遗传算法的全局随机搜索能力;最后利用基于遗传算法的BP神经网络对主汽温控制系统进行设计,该设计分为三个方面:第一 ,由于主汽温为非线性时变系统,所以要先对主汽温进行辨识,提供给GA-BPNN一个学习信号;第二,基于遗传算法的BP神经网络,根据辨识系统提供的 学习信号调节PID控制器的三个可调节参数kp,ki,kd,即通过神经网络的自学习、加权系数调整,使神经网络输出对应于某种最优控制规律下的PID控 制器参数,其中BP神经网络采用加动量项法与变步长法结合起来的BP算法以提高收敛速度,遗传算法则采用自适应变异概率和可变的交叉概率以扩大搜 索空间。第三,PID控制采用经典的增量式PID控制。 本文采用MATLAB语言对主汽温对象进行仿真分析,并在仿真的过程中改变被控对象的参数来说明该方法的有效性。仿真结果表明:本文所设计的基 于遗传算法-BP神经网络的PID控制系统具有较好的自适应和自学习能力,即便是被控对象的参数发生较大的变化的情况下,仍能保证系统良好的动、静 态特性。
9.会议论文 李晔 基于遗传算法和神经网络的二级倒立摆控制系统 2006
本文以二级倒立摆为对象,介绍了一种融合遗传算法的神经网络控制方法.该方法采用以多层前馈神经网络作为遗传搜索表示方法的思想,以神经网络 为基础,用遗传算法来学习神经网络的权系数,既保留了遗传算法的强全局随机搜索能力,又具有神经网络的鲁棒性和自学习能力.仿真结果证明:遗传算法 和神经网络的结合,可兼有神经网络广泛映射能力和遗传算法快速全局收敛等性能.
10.学位论文 吴小许 遗传算法的改进及结合神经网络在制浆过程中的应用 2005
随着当前制浆造纸生产规模的不断扩大,纸机车速越来越快,生产工艺要求越来越高,对自动控制的要求也在不断提高。因此常规的控制理论及控 制方法,在一定程度上已经不能满足某些制浆造纸过程中对测量及控制的要求。随着当前控制领域中智能控制算法的不断发展,神经网络算法、仿人智 能控制算法、模糊控制算法、遗传算法等在过程控制中得到了越来越多的关注和重视,在实际中的应用也越来越广泛,并解决了不少常规控制算法无法 解决的问题,具有非常广泛的应用前景。本文在越南平安纸业年产7.5万吨白板纸制浆生产线的基础上,对制浆过程中打浆度的软测量技术进行了研究 ,提出了基于改进型遗传算法优化的神经网络对打浆度进行软测量及控制的方案,并在实际应用中取得了非常理想的应用效果。 自从McCulloch和Pitts提出MP神经元模型以来,神经网络的研究已有50多年的历史,走过了一条曲折而不平衡的发展道路,几经兴衰。如今,神经 网络研究又异军突起,进入一个新的发展时期,其应用研究几乎覆盖了所有的领域。神经网络最大的特点是它强大的函数逼近能力、泛化能力及特有的 学习功能,而BP神经网络的出现又解决了神经网络无法确定其权值的缺点。其误差反传算法的优越性和易实现性,使得其在实际过程中得到了非常广泛 的应用。但BP算法本质上属于梯度下降训练算法,而梯度下降算法用来解决非线性优化问题有两个主要缺点:①容易陷入局部极小;②由于依赖于对激 活函数求导数,故容易发生未成熟饱和。针对梯度算法容易陷入局部最小的不足,本文提出了改进型遗传算法对连接权值、阈值进行优化的方法。 遗传算法是一种求解问题的高效并行全局搜索方法。在过去的30年中,在解决复杂的全局优化问题方面,遗传算法已取得了成功的应用,并受到了 广泛的关注。本文在标准遗传算法研究的基础上,提出了遗传算法的改进型,采用了浮点编码方式、无重串的稳态繁殖、最优保留策略、自适应交叉率 和自适应变异率、适应度函数的重新标度、多点交叉、分布式遗传算法等改进方法。同时将BP神经网络的误差反传算法引入到遗传算法中来,在遗传算 法中加入了BP算子,增加了遗传算法在随机的进化过程中全局收敛的必然性和可靠性。 本文的研究的成果已经成功应用到越南平安纸业年产7.5万吨白板纸制浆生产线中的打浆度在线软测量和控制中。通过计算机仿真和实际的应用效果 可以看出,本文提出的改进型遗传算法对神经网络参数进行优化的方法是切实可行的并性能优越的,其预测效果是非常明显且可靠的。本文所提出的方
法在实际应用过程中有着非常广泛的推广价值。
引证文献(14条) 1.姜忠山.宋超.朱飞翔.司维超 遗传算法优化BP神经网络在转速PID控制中的应用[期刊论文]-兵工自动化 2009(3) 2.张欣悦 遗传算法在神经网络中的应用[期刊论文]-福建电脑 2008(10) 3.ZHAO Peng-cheng.朱焕勤.MENG Fan-qin.秦勇 基于小波神经网络的油泵故障诊断[期刊论文]-西南石油大学学报 (自然科学版) 2008(4) 4.王其军.程久龙 基于免疫神经网络模型的瓦斯浓度智能预测[期刊论文]-煤炭学报 2008(6) 5.张福平.李堂军.杨磊 基于遗传算法优化模糊Petri网的掘进工作面瓦斯爆炸事故致因分析[期刊论文]-矿业安全 与环保 2008(2) 6.魏茹生.沈冰.吴建华 河道水量还原计算中的遗传BP人工神经网络方法[期刊论文]-河海大学学报(自然科学版) 2008(2) 7.商杰.刘明 BP算法的改进及在模式识别中的应用[期刊论文]-合肥学院学报(自然科学版) 2007(3) 8.商杰.朱战立 基于遗传算法的神经网络在预测油管钢腐蚀速率中的应用[期刊论文]-腐蚀科学与防护技术 2007(3) 9.秦勇.张永国.赵鹏程 基于免疫神经网络模型的油气浓度预测研究[期刊论文]-自动化与仪表 2006(3) 10.王其军.程久龙 瓦斯传感器的故障模式与诊断方法研究[期刊论文]-煤炭科学技术 2006(11) 11.陈希.王瑞 基于遗传神经网络优化调节滴灌施肥液pH值[期刊论文]-江苏农业学报 2006(4) 12.范睿.李国斌.景韶光 基于实数编码遗传算法的混合神经网络算法[期刊论文]-计算机仿真 2006(1) 13.赵鹏程.王致杰.孟江.王耀才 基于免疫神经网络模型的油气浓度预测研究[期刊论文]-自动化博览 2005(3) 14.王东亚 基于自适应遗传人工神经网络的集中供热负荷预测与控制研究[学位论文]硕士 2005
本文链接: 授权使用:刘小清(wfzjtsg),授权号:9ed06613-05c4-430e-a556-9dde0107cdba 下载时间:2010年8月26日
本文关键词:一种基于遗传算法的BP神经网络算法及其应用,由笔耕文化传播整理发布。
本文编号:140750
本文链接:https://www.wllwen.com/kejilunwen/rengongzhinen/140750.html