bp神经网络模型的应用_构造型神经网络综述

  本文关键词：构造型神经网络综述，由笔耕文化传播整理发布。

构造型神经网络综述

５０

模式识别与人工智能

２１卷

生，在国内外产生一定影响．

构造型神经网络是张钹和张铃，从Ｍ—Ｐ神经元模型的几何意义［２３出发，于１９９８年提出的，它的核心是覆盖算法．称其为构造型神经网络，是相对于传统的神经网络结构而言的．以多层感知器的网络结构为例，整个网络是一个密不可分的整体，各神经元间的功能、所要学习和处理的数据彼此相同或相似，并且网络基本功能就是建立从输入到输出的映射，无法或很难划分出输入到输出间逐步转化的过程．构造型神经网络可以分层逐步构造，网络的基本功能划分成若干独立的功能模块．该网络在对给定具体的数据处理过程中，同时给出网络的结构和参数．该算法以覆盖算法为基础，经一次非线性变换，构造“球形领域”，将学习问题转化为覆盖问题，计算量小，适合大规模模式分类［３］．因此，在许多领域得到广泛地应用．目前它成功实现了手写汉字识别［３］、图像检索［４］、通信信号分类和识别［５喃］、股票行情预测口］、计算机入侵行为检测［８］、无线电监测数据的挖掘Ｌ９３等方面．

．，

类独立的训练样本投影到高一维的超球面上，形成不同覆盖的球形领域．每个球形领域对应一个神经元，球形领域的中心代表对应神经元的权重，半径代表阈值，由此构造神经网络隐含层．再将同类样本对应的球形领域合并，构成神经网络输出层，可实现对测试样本的分类，详细过程参照文献Ｅｅ３．

为什么将样本投影到球面后，可将原来非常复杂的神经网络学习问题，转换成一个非常直观的覆盖问题．下面我们从划分区域和划分边界对这两种不同的几何表示进行分析．

１）从划分区域进行比较．超平面模型将空间分成两个无穷大的半空间，而球形领域将球面划分成两个有限大的领域．这种“局部化”的效果将学习问题大大简化．因为一个超平面模型将空间划分成两个无穷大的半空间，起个超平面就将空间划分成最多可达Ｏ（２”）个不同的连通区域，而且这些区域的构成很难从直观上给出明确分析．而神经网络的学习问题就是利用神经元网络，将样本分割开来使各连通区域中只包含同类的样本．因为由靠个超平面划分的连通区非常复杂，无法从直观上给出理解，故由它构成的网络也就很难从直观上给出学习的方法．反之，，球形领域的模型，所划分的连通区域是有限的区域，当给定靠个神经元时，其对应的领域，只要适当选取半径，可以使各领域互不相交．由上面所述神经网络的学习问题相当于利用神经网络将空间划分成若干连通区域，并使每个连通区域只包含同类样本．于是球形领域的模型使神经网络的学习问题变为一个非常直观的求覆盖问题．

２）从划分边界进行比较．超平面模型的划分边界是超平面（线性），而球形领域的划分边界是超球面（二次曲面）．从理论上说，次数越高的曲面其逼近能力越强，故二次曲面的逼近能力比一次曲面强．这也是覆盖算法比其它算法划分能力强的一个原因．球形领域的边界是二次曲面，这是否增加计算量？仔细分析我们可以看到球形领域的模型在本质上并没有增加计算量，因为其主要计算仍旧是Ｙ＝ｓｇｎ（＜铷，ｚ＞一口）中内积，而内积计算是线性的．我们进一步要问，为什么利用线性的计算能得出二次的边界？这是因为我们计算的定义域是二次曲面（超球面），而在二次曲面（定义域）上的一次计算等价于在平面空间（定义域）上的二次计算．这样通过投影到球面上的操作，使我们利用一次计算能完成二次边界的划分，从而提高划分的逼近能力，这也是覆盖算法的优点之一

ｚ

近年来，随着网络在许多领域展开应用，算法上也得到许多改进．本文简介其基本原理，分析其性能，比较其他神经网络，介绍一些改进的措施和研究现状，分析其应用价值．

２构造型神经网络分析

Ｍ—Ｐ模型是将神经元看成是１个有，２个输入，１个输出的元件，其输出函数为Ｙ＝ｓｇｎ（（叫，ｚ＞一口），其中＜锄，ｚ＞一０—０表示ｎ维空间中的一个超平面，

于是神经元就是一个空间划分器．当（耽一口）＞０

时，表示点ｚ落在超平面的正半空间内，此时，Ｙ＝

１；当（Ｖ％一日）＜０时，表示点ｚ落在Ｐ的负半空间

内，此时，Ｙ一一１．这就是Ｍ—Ｐ神经元超平面的几何

意义．

若将样本均投影到一个半径为尺的超球面上［２］，神经元模型仍为Ｙ—ｓｇｎ（（叫，ｚ＞一日），且Ｉ的点，恰好是落在以Ｗ为中心（这里设Ｉ

—Ｒ．于是落在平面的正半空间，同时又在超球面上

ＷＩ＝Ｒ）以

ｒ（口）＝￣／Ｒ２一俨为半径的球形领域内．将样本投影到球面上，得出Ｍ—Ｐ神经元新的几何意义，也就是球形领域几何意义：神经元的功能函数恰好表示球面上的一个球形领域的特征函数．利用这个几何意义，我们提出了一个新的学习方法：覆盖算法［２］．

在构造此算法分类时，充分运用先验知识，将各

  本文关键词：构造型神经网络综述，由笔耕文化传播整理发布。