RandPG人工神经网络及其扩展研究

发布时间：2021-06-26 06:14

　　由于经典的人工神经网络的训练时间过长,导致其应用范围受到了限制。极限学习机（Extreme Learning Machine,ELM）的问世,一举打破这一僵局,即ELM能够在保证相当的分类精度前提下,可大幅度缩减前馈神经网络的训练时间。然而,与BP（Back Propagation,BP）神经网络一样,虽然都具备全局逼近能力,但当面临数据样本相对复杂的情况时,极限学习机为了保证学习能力,就需要增加隐节点个数,如此必然导致网络结构的复杂性。随机投影方法是目前处理海量、高维数据的有效工具之一。因此本文考虑在传统神经网络基础上借鉴极限学习机的快速学习思想,设计出更加快速的人工神经网络。本文以平面高斯网络（Plane-Gaussian,PG）为主要研究对象,由于PG隐层参数是通过聚类算法获得,网络训练时间较长,且易陷入局部最优解。针对它的缺陷,本文提出一种改进算法,即随机投影下的平面高斯神经网络（Plane-Gaussian Network Based on Random Projection,RandPG）,并在网络结构上进一步优化。本文的研究工作主要包括以下几点:（1）借鉴极限学习机的网络... 

【文章来源】：南京林业大学江苏省

【文章页数】：54 页

【学位级别】：硕士

【部分图文】：

平面高斯函数的三维可视化

提出了一种双隐层 RandPG 网络(Two-hidden-layer Rand TRandPG 网络的基本原理，以及与 RandPG 算法的对比实本原理 Tateishi[53]在理论和实验上证明了：在同等实验条件下，双隐层前向神经网络更少的隐层神经元个数来达到理想的性( N / 2 + 3)个隐节点就可以训练N 个训练样本，从而获得在 2002 年又进一步证明了对于 个训练样本，双隐层前个隐层神经元就可以训练实现任意小的训练误差。网络的这种优势启发我们将 ELM 算法的特点，即随机产前向网络的框架中。对于这个双隐层前向神经网络，它的与第一个隐层间的权值及第一个隐层的偏置随机产生。第层与第二个隐层之间的权值及第二个隐层的偏置是通过下。由于这个算法是基于双隐层前向网络架构的 RandPG 的隐层 RandPG(Two-hidden-layer RandPG, TRandPG)。TRan

图 5-2 TRandPG 的算法流程Fig.5-2 Workflow of TRandPGN 个独立的样本数据( , )i ix t (i 1, 2, , N )，TRandPG 中共有 2L 个活函数用 g ( x )表示。为训练 TRandPG 网络，我们首先随机初始间的连接权值矩阵W和第一个隐层的偏置矩阵B ，然后按照公式与输出层之间的权值矩阵β。根据图 5-2 中 TRandPG 的算法流程H 1 1g ( W H +B )H 接第一个隐层与第二个隐层的权值矩阵。我们假设第一个隐层量的神经元，那么 就是一个方阵。H表示的是所有 N 个样本阵。矩阵1B 代表第二个隐层的偏置，矩阵1H 代表第二个隐层的期隐层的期望输出可按下式计算：+1H =Tβ β的 Moore-Penrose 广义逆矩阵。+β 的计算方式与前面所讨论的H，那么1=( )+ T Tβ β β β ；或者如果Tββ 满秩，1= ( )+ T T β β ββ 。然后

【参考文献】：
期刊论文
[1]随机投影下的Plane-Gaussian人工神经网络[J]. 冯哲,杨绪兵,张福全.  数据采集与处理. 2017(02)
[2]基于Plane-Gaussian神经网络的网络流状态监测[J]. 杨绪兵,冯哲,顾一凡,薛晖.  计算机应用. 2017(03)

硕士论文
[1]基于超平面原型的聚类算法及相应扩展神经网络的研究[D]. 王颖.南京航空航天大学 2006



本文编号：3250794