基于数值计算方法的BP神经网络及遗传算法的优化研究

  本文关键词：基于数值计算方法的BP神经网络及遗传算法的优化研究，由笔耕文化传播整理发布。

分类号密级——

ＵＤｆ编号一一一

ＹＵＮＮＡＮＮｏＲＭＡＬＵＮＩＶＥＲＳＩＴＹ

硕士研究生学位论文

题目：基于数值计算方法的ＢＰ神经网络及遗传算法

的优化研究

学院盐篡扭盘堂曼焦皇盐盔堂瞳

专业名称基趟麴堂

研究方向组金熬堂

研究生姓名丢佳要．学号

导师姓名陶送堡！夏勉塑职称熬援

２００６年０６月日

摘要

人工神经网络和遗传算法都是将生物学原理应用于计算机科学的仿生学理论成果。由于它们具

有极强的解决问题的能力，近年来引起了众多学者的兴趣与参与，已成为学术界跨学科的热门专题之一。

在人工神经网络的实际应用中，约９０％的人工神经网络模型都是采用ＢＰ网络或者是它的变化

形式，它也是前馈网络的核心部分，ＢＰ网络广泛应用于函数逼近、模式识别，分类、数据压缩等。现已成为人工智能研究的重要领域之一。然而，由于ＢＰ算法是一种梯度下降搜索方法，因而不可避免地存在固有的不足，如收敛速度慢、易陷入误差函数的局部极小点，对于较大的搜索空间，多峰值和不可微函数不能有效搜索到全局极小点。

遗传算法作为一种智能化的全局搜索算法，自８０年代问世以来便在数值优化、系统控制、结构

优化设计等诸多领域的应用中展现出其特有的魅力，同时也暴露出许多不足和缺陷。如完全依赖概率随机地进行操作，虽然可以避免陷入局部极小，但受寻优条件的限制，一般只能得到全局范围内的近似最优解，很难得到最优解；对参数采用二进制编码，人为地将连续空间离散化，导致了计算精度与字符串长度、运算量之间的矛盾；采用随机优化技术，所以要花费大量的时间；算法在交叉、变异的进化过程中随机性较强，致使搜索效率低下，具体表现为进化迭代过程中会出现子代最优个体劣于父代最优个体的“退化”现象；遗传算法虽然具有很强的全局搜索能力，但其局部搜索能力较弱（易出现早熟收敛现象）。

本文主要工作：

（１）对ＢＰ神经网络的缺陷进行分析研究，针对ＢＰ神经网络收敛度慢的不足，对经典ＢＰ网络

的单极性Ｓｉｇｍｏｉｄ传输函数和双极性Ｓｉｇｍｏｉｄ函数进行数学分析，给出二者不同的数学性质和它们的优先选择方法。

（２）利用数值计算优化方法对ＢＰ神经网络进行改进，提高其收敛速度，本文分别用拟牛顿法、

最优步长法和共轭梯度法对ＢＰ神经网络学习法进行改进，，对各种改进方法进行分析比较，给出各自适用的网络规模，并对其收敛性进行分析证明。

（３）利用数值计算优化方法对遗传算法的交叉算子、变异算子、编码方式及适应度函数等进行

分析研究，给出了基于一维极小化问题的最优策略（Ｆｉｂｏｎａｃｃｉ法）和近似最优策略（黄金分割法）的交叉和变异算子。

（４）将擅长全局搜索的遗传算法和局部寻优能力较强的ＢＰ算法结合起来，根据ＧＡ的交叉、变

异和选择算子在全变量空间以较大概率搜索全局解和在解的点附近利用ＢＰ神经网络能快速、精确地收敛的特点，融合二者的优点，将二者有机结合，利用遗传算法同时训练神经网络权值和拓扑结构，可以辟免陷入局部极小值，提高算法收敛速度，很快得到问题的全局最优解。

（５）通过试验对改进后的ＢＰ神经网络算法、遗传算法和他们融合方法进行了试验验证。

。关键字：

神经网络遗传算法收敛性共轭梯度法黄金分割法Ｆｉｂｏｎａｃｃｉ法泛化能力

Ａｂｓｔｒａｃｔ

Ｔｈｅａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍａｐｐｌｉｅｄｔｈｅｂｉｏｌｏｇｉｃａｌｐｒｉｎｃｉｐｌｅｔｏｔｈｅｂｉｏｎｉｃｓｔｈｅｏｒｙａｃｈｉｅｖｅｍｅｎｔｏｆｃｏｍｐｕｔｅｒｓｃｉｅｎｃｅ．Ｂｅｃａｕｓｅｔｈｅｙｈａｖｅｅｘｔｒｅｍｅｌｙｓｔｒｏｎｇａｂｉｌｉｔｙｔｏｓｏｌｖｅｐｒｏｂｌｅｍ，ｉｔｈａｖｅｄｒａｗｎｎｕｍｅｒｏｕｓ

ｏｎｅｓｃｈｏｌａｒｓ’ｉｎｔｅｒｅｓｔａｎｄｐａｒｔｉｃｉｐａｔｉｏｎｉｎｒｅｃｅｎｔｙｅａｒｓａｎｄｈａｓａｌｒｅａｄｙｂｅｃｏｍｅ

ｈｏｔｓｐｅｃｉａｌｔｏｐｉｃｓ．０ｆａｃａｄｅｍｉａ’Ｓｉｎｔｅｒｄｉｓｃｉｐｌｉｎａｒｙ

Ｉｎｔｈｅｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ａｂｏｕｔ９０％ｏｆｔｈｅａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌｓａｄｏｐｔＢＰｎｅｔｗｏｒｋｏｒｉｔｓｃｈａｎｇｅｆＯｒｍ．ｉｔｉｓａｋｅｙｐａｒｔｏｆｔｈｅｆｅｅｄｆｏｒｗａｒｄｎｅｔｗｏｒｋｔｏｏ．ＢＰｎｅｔｗｏｒｋａｐｐｌｉｅｓｔｏｔｈｅａｐｐｒｏｘｉｍａｔｉｏｎｏｆｆｕｎｃｔｉｏｎｅｘｔｅｎｓｉｖｅｌｙ，ｐａｔｔｅｒｎ．ｒｅｃｏｇｎｉｔｉｏｎ／ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｔｈｅｄａｔａｃｏｍｐｒｅｓｓｅｄａｎｄ

ｂｅｃｏｍｅｏｎｅＳＯｏｎ．．Ｉｔｈａｓａｌｒｅａｄｙｎｏｗ．

ａｒｅｏｆｔｈｅｉｍｐｏｒｔａｎｔｆｉｅｌｄｓｗｈｉｃｈｔｈｅａｒｔｉｆｉｃｉａＩｉｎｔｅｌｌｉｇｅｎｃｅｈａｓｓｔｕｄｉｅｄａＨｏｗｅｖｅｒ，ｂｅｃａｕｓｅＢＰａｌｇｏｒｉｔｈｍｉｓｇｒａｄｉｅｎｔｄｒｏｐｐｉｎｇｍｅｔｈｏｄｏｆｓｅａｒｃｈｉｎｇｆｏｒ，ｔｈｅｒｅ

ａｓｉｎｈｅｒｅｎｔｄｅｆｉｃｉｅｎｃｉｅｓｕｎａｖｏｉｄａｂｌｙ，ｓｕｃｈ

Ｓｏｍｅｓｎａｃｋｏｆｔｈｅ

ａｎｄｌｉｔｔｌｅｆｕｎｃｔｉｏｎｅｒｒｏｒｃａｎｃｏｎｖｅｒｇｉｎｇｓｌｏｗｌｙ，ａｐｔｔｏｆａｆｆｉｎｔｏｅｘｔｒｅｍｅｌｙｆｕｎｃｔｉｏｎ，ａｓｔｏｔｈｅｓｐａｃｅｏｆｌａｒｇｅｒｓｅａｒｃｈｉｎｇ，ｍａｎｙｐｅａｋｖａｌｕｅｓｓｅａｒｃｈｆｏｒｒｅａｃｈｉｎｇｔｈｅｏｖｅｒａｌＩｓｉｔｕａｔｉｏｎｓｎａｃｋｖｅｒｙｍｕｃｈｅｆｆｅｃｔｉｖｅｌｙ．

Ｔｈｅｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ

ｏｐｔｉｍｉｚｅｄｉｎａｓａｋｉｎｄｏｆｉｎｔｅｌｌｉｇｅｎｔｔｈｅｏｖｅｒａｌｌｓｅａｒｃｈｉｎｇｆｏｒａｌｇｏｒｉｔｈｍｓｈａｓｎｕｍｂｅｒｖａｌｕｅｓｉｎｃｅｔｈｅｅｉｇｈｔｉｅｓ，ｓｙｓｔｅｍｃｏｎｔｒｏｌ，ｓｔｒｕｃｔｕｒａｌｏｐｔｉｍｉｚａｔｉｏｎ

ａｄｅｓｉｇｎａｎｄａｐｐｌｉｃａｔｉｏｎｓｉｎ

ａｇｒｅａｔｄｅａｌｏｆｆｉｅｌｄｓｓｈｏｗｔｈｅｉｒｃｈａｒａｃｔｅｒｉｚｅｄｇｌａｍｏｕｒ，ｅｘｐｏｓｅｏｎｌｏｔｏｆｉｎｓｕｆｆｉｃｉｅｎｔａｎｄｄｅｆｅｃｔｓａｔｔｈｅｓａｍｅｔｉｍｅ．Ｆｏｒｅｘａｍｐｌｅ，ｔｏｔａｌｌｙｒｅｌｙ

ｃａｎｐｒｏｂａｂｉｌｉｔｙｔｏｏｐｅｒａｔｅａｔｒａｎｄｏｍ，ｔｈｏｕｇｈｅｘｔｒｅｍｅｌｙｓｍａｌｌ

ｔｈｅｅｘｃｅｌｌｅｎｔｃｏｎｄｉｔｉｏｎ．Ｔｈｅｏｎｅｓｂｅａｖｏｉｄｅｄ，ＩｔｉｓｓｏｕｇｈｔｔｈｅｒｅｓｔｒｉｃｔｉｏｎｏｆｏｎｌｙｃａｎｇｅｎｅｒａｌｌｙｂｅｒｅｃｅｉｖｅｄｉｎｔｈｅｏｖｅｒａｌＩｒａｎｇｅ

ｂｉｎａｒｙａｐｐｒｏｘｉｍａｔｌｙａｎｄｏｐｔｉｍｕｍｌｙ，ｉｔｉｓｖｅｒｙｄｉｆｆｉｃｕｌｔｔｏｂｅｓｏｌｖｅｄｏｐｔｉｍｕｍｌｙ；Ａｄｏｐｔｉｎｇ

ｓｃａｌｅｃｏｄｅｔｏｐａｒａｍｅｔｅｒ，ｄｉｓｐｅｒｓｉｎｇｔｏｔａｋｅｃｏｎｔｉｎｕｏｕｓｓｐａｃｅａｒｔｉｆｉｃｉａｌｌｙｒｅｓｕｌｔｉｎｔｈｅｃｏｎｔｒａｄｉｃｔｉｏｎｂｅｔｗｅｅｎｃａｌｃｕｌａｔｉｎｇｐｒｅｃｉｓｉｏｎａｎｄｓｔｒｉｎｇｌｅｎｇｔｈａｎｄｏｐｅｒａｔｉｏｎａｍｏｕｎｔ；Ｓｏａｄｏｐｔｉｎｇａｎｄｏｐｔｉｍｉｚｉｎｇｔｅｃｈｎｏｌｏｇｙａｔｒａｎｄｏｍｓｈｏｕｌｄｓｐｅｎｄ

ｂｒａｎｃｈｉｎｇａｎｄｔｈｅｍｕｔａｎｔｅｖｏｌｕｔｉｏｎｃｏｕｒｓｅａｌａｒｇｅａｍｏｕｎｔｏｆｔｉｍｅ；Ｉｎｒａｎｄｏｍｎｅｓｓｉｓｒｅｌａｔｉｖｅｌｙｓｔｒｏｎｇ，ｃａｕｓｉｎｇｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｓｅａｒｃｈｉｎｇｆｏｒｔｏｂｅｌｏｗ，ｅｍｂｏｄｉｅｄｉｎｅｖｏｌｖｉｎｇ，ｃｈａｎｇｉｎｇａｎｄｔａｋｉｎｇｔｈｅｐｌａｃｅｏｆｃｏｕｒｓｅｗｉｌｌａｐｐｅａｒｓｕｂｇｅｎｅｒａｔｉｏｎｏｐｔｉｍｕｍｉｎｄｉｖｉｄｕａｌｌｏｗｅｒｔｈａｎｐａｒｅｎｔｏｐｔｉｍｕｍｉｎｄｉｖｉｄｕａｌ．Ｔｈｏｕｇｈｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｈａｖｅｓｔｒｏｎｇｌｙｏｖｅｒａｌｌｓｉｔｕａｔｉｏｎｓｅａｒｃｈｉｎｇｆｏｒａｂｉｌｉｔｙ，ｉｔｓｐａｒｔｓｅａｒｃｈｉｎｇｆｏｒａｂｉｌｉｔｙｔｏｂｅｗｅａｋｅｒ

ｐｈｅｎｏｍｅｎｏｎｏｆａｎｄ（ｅａｓｉｅｒｔｏａｐｐｅａｒｔｈｅｅａｒｌｙ－ｍａｔｕｒｉｎｇｄｉｓａｐｐｅａｒｉｎｇ）．

ｏｆｔｈｉｓｐａｐｅｒ：

ａｎｄｒｅｓｅａｒｃｈｔｈｅｄｅｆｅｃｔｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ．ＷｉｔｈｔｈｅｓｈｏｒｔｃｏｍｉｎｇｔｏｔｈｅｓｔｏｗＧｒｏｕｎｄｗｏｒｋ（１）Ａｎａｌｙｚｅ

ｃｏｎｖｅｒｇｅｎｔｓｐｅｅｄｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ，ｗｅｃａｒｒｙｏｎｍａｔｈｅｍａｔｉｃｓａｎａｌｙｓｉｓｔｏｓｉｎｇｌｅｐｏｌａｒｉｔｙＳｉｇｍｏｉｄ第Ｔ００页

ｔｒａｎｓｍｉｔｆｕｎｃｔｉｏｎａｎｄｄｏｕｂｌｅｐｏｌａｒｉｔｙＳｉｇｍｏｉｄｆｕｎｃｔｉｏｎｏｆｃｌａｓｓｉｃａｌＢＰｎｅｔｗｏｒｋ。Ｆｒｏｍｔｈｉｓｗｅｓｈｏｗｔｈｅｄｉｆｆｅｒｅｎｔｍａｔｈｅｍａｔｉｃｓｎａｔｕｒｅｏｆｔｈｅｍａｎｄｔｈｅｉｒｃｈｏｉｃｅｍｅｔｈｏｄｓ．

（２）Ｗｅ

ｎｅｕｒａｌｍｅｔｈｏｄ．ＷｅｉｍｐｒｏｖｅＢＰｉｍｐｒｏｖｅＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｂｙｎｕｍｅｒｉｃａｌｃａｌｃｕｌａｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄｂｙｔｈｅｉｍｉｔａｔｅＮｅｗｔｏｎｍｅｔｈｏｄ，ｏｐｔｉｍｕｍｓｔｅｐｌｅｎｇｔｈｍｅｔｈｏｄａｎｄ

ａｎａｌｙｚｅａｎｄｃｏｍｐａｒｅａｂｏｕｔｖａｒｉｏｕｓｋｉｎｄｓｏｆｎｅｔｗｏｒｋｃｏｎｊｕｇａｔｉｏｎｇｒａｄｉｅｎｔｍｅｔｈｏｄｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅｎｉｍｐｒｏｖｅｍｅｎｔ

ｍｅｔｈｏｄｓａｎｄｓｈｏｗｅａｃｈｓｕｉｔａｂｌｅｎｅｔｗｏｒｋｓｉｚｅ，ａｎａｌｙｚｉｎｇａｎｄｐｒｏｖｉｎｇｉｔｓｃｏｎｖｅｒｇｅｎｃｅｐｒｏｐｅｒｔｙ．

（３）Ｗｅａｎａｌｙｚｅａｎｄｒｅｓｅａｒｃｈｔｈｅｃｒｏｓｓｏｐｅｒａｔｏｒ，ｖａｒｉａｔｉｏｎｏｐｅｒａｔｏｒａｎｄｃｏｄｅｗａｙｏｆｇｅｎｅｔｉｃ

ｃｒｏｓｓａｌｇｏｒｉｔｈｍｂｙｎｕｍｅｒｉｃａｌｃａｌｃｕｌａｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄａｎｄｓｈｏｗｔｈｅ

ｏｐｔｉｍｕｍｔａｃｔｉｃｓ（Ｆｉｂｏｎａｃｃｉ

ｏｎｏｐｅｒａｔｏｒ．ｖａｒｉａｔｉｏｎｏｆｍｅｔｈｏｄ）ａｎｄａｐｐｒｏｘｉｍａｔｅｏｐｔｉｍｕｍｔａｃｔｉｃｓ（ｇｏｌｄｅｎｓｅｃｔｉｏｎｍｅｔｈｏｄ）ｂａｓｅｄｏｎｅ－ｄｉｍｅｎｓｉｏｎｍｉｎｉｍｉｚｉｎｇｑｕｅｓｔｉｏｎ．

（４）ＷｅｃｏｍｂｉｎｅｔｈｅｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｗｈｉｃｈｉｓｇｏｏｄａｔｏｖｅｒａｌｌｓｅａｒｃｈｗｉｔｈＢＰａｌｇｏｒｉｔｈｍｗｈｉｃｈｈａｓ

ｃｒｏｓｓｍｕｃｈｓｔｒｏｎｇｌｏｃａｌｏｐｔｉｍｉｚｉｎｇａｂｉｌｉｔｙ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｔｈｅｏｐｅｒａｔｏｒ，ｖａｒｉａｔｉｏｎ

ｏｐｅｒａｔｏｒａｎｄｃｈｏｉｃｅｏｐｅｒａｔｏｒｏｆＧＡｔｈａｔｔｈｅｓｅｏｐｅｒａｔｏｒｓｓｅａｒｃｈｔｈｅｏｖｅｒａｌｌｓｏｌｖｅｗｉｔｈｇｒｅａｔｐｒｏｂａｂｉｌｉｔｙｉｎｔｈｅｗｈｏｌｅｖａｒｉａｂｌｅｓｐａｃｅａｎｄｃｏｎｖｅｒｇｅｆａｓｔａｎｄａｃｃｕｒａｔｅｎｅａｒｔｈｅｓｏｌｖｅ，ｉｎｔｅｒｇｒａｄｉｎｇａｄｖａｎｔａｇｅｓｏｆｔｈｅｓｅｔｏｗｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｃｏｍｂｉｎｉｎｇｔｈｅｓｅｔｏｗｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｒｇａｎｉｃａｌｌｙ，ｔｒａｉｎｉｎｇｔｈｅｗｅｉｇｈｔｖａｌｕｅａｎｄｔｏｐｏｌｏｇｉｃａｌｓｔｒｕｃｔｕｒｅｏｆｎｅｕｒａｌｎｅｔｗｏｒｋａｔｔｈｅｓａｍｅｔｉｍｅｂｙｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ，ｗｅｃａｎａｖｏｉｄｆａｌｌｉｎｇ

ｃａｎｉｎｔｏｌｏｃａｌｅｘｔｒｅｍｅｍｉｎｉｍｕｍｖａｌｕｅａｎｄｉｍｐｒｏｖｅｃｏｎｖｅｒｇｅｎｔｓｐｅｅｄｏｆｔｈｅａｌｇｏｒｉｔｈｍ，ｔｈｅｎｗｅ

ｔｈｅｏｖｅｒａｌＩｏｐｔｉｍｕｍｓｏｌｖｅｔｏｔｈｅｑｕｅｓｔｉｏｎｑｕｉｃｋｌｙ．ｏｂｔａｉｎ

（５）ＷｅｖｅｒｉｆｙｔｈｅｉｍｐｒｏｖｅｄＢＰｎｅｔｗｏｒｋａｌｇｏｒｉｔｈｍ，ｉｍｐｒｏｖｅｄｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍａｎｄｔｈｅｉｒｍｉｘ

““ｔｈｒｏｕｇｈｔｅｓｔｉｎｇ．

Ｋｅｙｗｏｒｄｓ：

Ｎｅｕｒａｌｎｅｔｗｏｒｋ，Ｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ，Ｃｏｎｖｅｒｇｅｎｃｅｐｒｏｐｅｒｔｙ，Ｆｉｂｏｎａｃｃｉｌａｗ，

Ｇｒａｄｉｅｎｔｌａｗｏｆｃｏｎｊｕｇａｔｉｏｎ，ｇｏｌｄｓｐｌｉｔｍｅｔｈｏｄ，Ｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙ第１０１页

  本文关键词：基于数值计算方法的BP神经网络及遗传算法的优化研究，由笔耕文化传播整理发布。