核自适应学习的RBF混合结构神经网络分类器研究

发布时间：2020-04-03 11:47

【摘要】：分类是人类活动中最常见的决策任务之一。当前,用于分类的神经网络算法及模型已经广泛应用于科学、工业和医学等不同领域中。尽管各种神经网络算法及模型已经取得了较大发展,但由于算法及模型的差异性,以及不同的非线性问题所呈现出的多样性和复杂性,传统的神经网络分类器在某些复杂问题上其网络性能往往有限。典型的深度学习中的卷积神经网络,在网络结构上增加多个不同类型的隐藏层,可以实现对复杂问题的分类处理。一般的做法是先将输入样本经过卷积核的映射,其输出经过一系列的处理后,再与多层感知器(MLP)相级联,然后利用反向传播(BP)算法实现各层权值的更新。然而,将径向基核函数(RBF)与BP网络相级联处理,当前还没有很好地研究。针对有监督分类问题,本文以构造优化的神经网络分类器和相匹配的学习算法为实现目标,主要围绕RBF网络结构及核参数的优化选取、RBF混合结构神经网络分类器设计以及核整体划分思想的分类方法这几项内容展开,以完成不同非线性问题的优化分类。在研究过程中,取得了以下研究成果:1.提出一种前置核的RBF-BP混合结构神经网络。将RBF网络结构与BP网络结构进行级联调整,其中原有的RBF网络隐藏层的输出进行一定处理后与BP网络的隐藏层相级联。在该网络分类器当中,RBF网络用于实现原始样本的局部化核映射,BP网络用于非线性分类。通过这种方式,可以将RBF网络的局部非线性映射能力与BP网络的全局非线性分类能力相结合。实验结果表明,本文所提网络结构可以改善单一的RBF网络及BP网络的分类性能,同时降低了对RBF网络及BP网络隐节点参数选择的依赖。2.提出一种核数自适应学习的RBF-BP混合结构神经网络分类器。充分利用了每类训练样本的空间分布信息,通过引入势函数密度聚类的方式来度量样本空间不同区域的稀疏程度,从而建立相应的RBF隐节点完成对样本空间不同区域的覆盖,可以根据样本空间的分布情况自动增量构建RBF网络隐节点。实验结果表明,该方法可以实现对前置核RBF-BP神经网络分类器中RBF网络隐节点个数及中心的自动估计,并具有较好的分类性能。3.提出一种异类斥力核优化的RBF-BP混合结构神经网络分类器。在所提势函数密度聚类生成初始RBF网络隐节点的基础上,进一步将每个RBF网络隐节点所覆盖区域的邻域信息考虑进来,设计了面向中心的异类样本排斥力模型,完成对RBF网络部分隐节点中心、核宽以及隐节点个数的优化调整,并最终建立起整个网络模型的优化学习算法。理论上分析并证明了样本经过核结构自适应RBF网络后,其可分性增强的量化条件,阐明了核结构自适应RBF网络的优越性。实验结果表明,该方法具有良好的分类能力,尤其当样本空间维数较低且训练样本个数充分的基础上,该方法表现出特有的优势。4.提出一种核整体划分思想的RBF-BP混合结构神经网络分类器。该方法以RBF核作为整体的训练学习目标,从机理上阐述了核整体学习划分的优点。设计了RBF子核内部样本生成及优化筛选机制,以实现对RBF子核整体划分思想的逼近。在生成合适的样本集规模的基础上,再利用已有的网络分类器进行训练分类。实验表明,该方法可以有效改善训练样本集规模较小或维数过高导致的样本空间分布稀疏问题,提高了网络分类器的鲁棒性和泛化能力。5.提出一种核结构自适应的RBF-ELM混合神经网络分类器。该方法是对核自适应RBF混合结构神经网络分类器的推广。通过将异类斥力核优化的RBF网络与ELM网络相级联,其中异类斥力核优化的RBF网络用于实现样本空间不同区域的局部化核映射,ELM网络用于RBF核映射后样本的非线性分类,由此构成一种结构互补的优化网络模型。给出了核结构自适应的RBF-ELM混合神经网络分类器算法步骤。对异类斥力核优化的RBF网络可分性增强的量化条件进行了实验验证。多个数据集上的实验表明,该方法可以明显改善ELM网络的分类性能。
【图文】：

27(c)图 2.5 Double Moon 数据集下不同网络的均方误差学习曲线对比。其中红色虚线代表最大均方误差曲线，蓝色虚线代表最小均方误差学习曲线，黑色实线代表 10 次实验求平均后的均方误差学习曲线。(a) BP 网络 (b)RBF 网络 (c)前置核的 RBF-BP 混合结构网络

前置核的 RBF-BP 混合结构神经网络继承了 RBF 网络稳定性好的优点。在完成对训练样本空间核映射学习的基础上，随后连接的非线性 BP 网络可以提供一个更好的分类曲面，可以在一定程度上降低对原有 RBF 网络部分核参数选取的依赖。因此，前置核的 RBF-BP 混合结构神经网络将 RBF 网络稳定性好及 BP 网络泛化能力强的优点结合起来，并有效抑制了单一 RBF 网络及 BP 网络的不足，它有效简化了 RBF 网络及 BP 网络参数的设置，使得整个网络可以得到一个相对更高的分类性能。需要指出的是，在前置核的 RBF-BP 混合结构神经网络分类器中，尽管BP 网络部分可以在一定程度上降低对 RBF 网络隐节点个数选取的依赖，但如同RBF 网络存在的问题一样，当 RBF 网络隐节点的个数选择过少时，过小的网络规模会导致学习过程的欠拟合，由此导致分类精度的降低；而当 RBF 网络隐节点个数过多时，，过大的 RBF 网络规模会导致学习的过拟合，并最终导致整个学习过程的失效。
【学位授予单位】：深圳大学
【学位级别】：博士
【学位授予年份】：2018
【分类号】：TP183

【参考文献】

相关期刊论文 前10条

1 郝晓丽;张靖;;基于改进自适应聚类算法的RBF神经网络分类器设计与实现[J];计算机科学;2014年06期

2 ZHAO ZhongQiu;WU XinDong;LU CanYi;GLOTIN Herve;GAO Jun;;Optimizing widths with PSO for center selection of Gaussian radial basis function networks[J];Science China(Information Sciences);2014年05期

3 张爱科;符保龙;李辉;;基于改进的模糊聚类RBF网络集成的文本分类方法[J];四川大学学报(自然科学版);2012年06期

4 ;Negative effects of sufficiently small initial weights on back-propagation neural networks[J];Journal of Zhejiang University-Science C(Computers & Electronics);2012年08期

5 韩红桂;乔俊飞;薄迎春;;基于信息强度的RBF神经网络结构设计研究[J];自动化学报;2012年07期

6 乔俊飞;韩红桂;;RBF神经网络的结构动态优化设计[J];自动化学报;2010年06期

7 於世为;诸克军;郭海湘;;基于MPSO-BP的RBF网络自构建学习算法[J];系统工程与电子技术;2010年03期

8 陈聪;王士同;;基于模糊分组和监督聚类的RBF回归性能改进[J];电子与信息学报;2009年05期

9 武方方;赵银亮;;一种基于蚁群聚类的径向基神经网络[J];西安交通大学学报;2006年04期

10 孙健,申瑞民,韩鹏;一种新颖的径向基函数(RBF)网络学习算法[J];计算机学报;2003年11期

相关博士学位论文 前1条

1 牟少敏;核方法的研究及其应用[D];北京交通大学;2008年

本文编号：2613334