基于神经网络集成的模式识别研究

　　1、引言

　　人工神经网络已经在众多领域得到了成功的应用.随着应用的深入推广租实际问题的日益涌现.神经计算的局限与不足逐渐跟现出来，如学习海量信息、时处理速度过慢、泛化能力差、记忆容量有限、需要反复训练、在接受新信息时易发生失忆现象等c这些缺陷使得人们对传统人工神经网络理论的进一步发展提HI了强烈的要求，人们考虑采用多种分类器集成融合的方法来提高识别率c早在1990年.HansSalamont通过实验证明，一组神经网络的集成性能优于最好的单一神经网络的性能，多分类器集成的输出可明显改善分类结果。这一研究成果使得集成学习技术尤其是神经网络集成技术成功的应用到了众多领域，并取得了较好的效果。

　　神经网络集成方法可以合成多个神经网络的训练和仿真结果.极大地提高神经网络系统的泛化能力。在1996年.Sollirh;flKroghl21为神经网络集成下了一个定义:神经网络集成是用有限个神经网络对同一个问题进行学习，集成在某个输入示例下的输出山构成集成的各神经网络在该示例下的输出共同决定一

　　2、神经罔蠕集成模型

　　神经网络集成通过有限个个体网络对同一个问题进行学习.

　　其原理就是通过训练多个神经网络并将其结论进行合成川飞其非线性处理能力和泛化能力较之单个网络更具有优势，已经应用于多个领域，尤其在信息处理、模式识别、智能控制等领域得到越来越广泛的应用υ当前对神经网络集成理论分析的研究主要集中在两个方面，一个就是对结论生成方法的分析以及对个体网络生成方法的分析c

　　2.1集成结论生成

　　在神经网络的结论生成方面，吁该集成网络用与回归估计时.通常再用各个个体网络简单的平均或者加权来产生Co目前已有学者提出来，权值的优化将会导致过配，以至于降低集成的泛化能力，因此建议使用权值的简单平均。在集成结论生成方面，当前还有采取动态权值的集成方法、贝叶斯方法、各种无约束和约束线性问归方法等c

　　另外一种情况是当神经网络集成用于分类器时，神经网络集成的结论通常由个体网络的输出投票产生，一般采用绝对多数戎相对多数投票法。绝对多数投票法即某分类成为最终结果二~且仅吁有超过半数的神经网络输出结果为该分类.相对多数投票法即某分类成为最终结果当且仅吁输出结果为该分类的神经网络的数目最多。理论分析和试验表明，相对多数投票法雯优于绝对多数投票法，目前大多采用相对多数投票法。

　　2.2个体神经网络生成

　　在个体神经网络生成方面.日前有两个优秀的算法Boosting和lBaggingoBagging方法的思想是建立在可重复取样的基础L.通过从原始训练集中随机选取训练样卒，两者的规模相当，也可以重复选取。这会导致训练集中某些示例在新的训练集中出现多次，而有些样本可能不出现Bagging方法就是通过这样重复选取训练来增加神经网络集成的差异度，进而提高泛化能力们

　　BoostingJf.法的思想是通过依次训练一组分量分类器，其中每个分量分类器的训练、集都选择已有的其它各个分类器所给出的"最富信息"的样本点组成。分类器的结果决定着最终的判决结果。

　　2.3噪声添加原理

　　已有研究证明组成神经网络集成的各个体神经网络的差异越大.集成的效果越好。为了获取差异性较大的个体网络，众多学者通过不同的初始条件、不同的训练算法和训练集、差异的网络拓扑结构来提高网络间的差异，获取较好的泛化能力。在神经网络训练中，研究者总是希望得到更多的训练数据，对每个随机过程通过增加观察点的数量来增加训练、样本。对于现有的有限个样本，随机添加一定量的噪声点来增加样本个数.这样就可以用新训练样本来训练个体神经网络，使不同的个体网络训练在不同的样本集上.增加了个体网络的泛化能力，也提高了个体神经网络的预测精度。

　　3、实验仿真

　　水文选用了UCI机器学习知识库下面的标准数据集来进行模式识别仿真，选用的是Iris数据集。Iris数据集由150组数据组成嘈每组数据包含有四个属性.分别是等片与花瓣的长度和宽度r

　　150组数据共分成=之类，其分别是如tosa、Vrsirol()ur和Virginira.这其中每一类共有50组τ在Iris数据集中，本文选用数据集中50%的数据作为生成神经网络集成的训练数据，而另外50'3毛的数据用于对生成的神经网络集成系统进行仿真测试，仿真软件使用MATLAB7.0.神经网络集成的结构如下，每个个体网络均采用反馈神经网络，采用经典的BP算法进行训练，笔耕论文新浪博客，输入节点数即为数据集的属性值，输出节点数是数据集的类数c通过训练得到了泛化性能较好的集成系统，通过对余下50%的数据的仿真识别，结果显示，识别来分别为:Stosa(96%)。
　　4、结语

　　本文提出了通过将噪声添加到神经网络的训练样本集中来增大训练样本集，是不同的个体网络能使用差异较大的训练数据，以此来提高集成系统的精度以及集成中个体网络的差异度，得到的人工神经网络集成.个体网络差异性大，泛化性能好，并将该方法应用于模式识另IJ实验中巳通过对UCI下的标准数据集Iris数据集进行模式识别实验，仿真结果验证了本方法的可行性与有效性，同时也验证了本方法在解决个体网络差异性问题上的实用性。

　　本文由整理发布，转载请注明出处！