宽度神经网络模型设计方法研究

发布时间：2021-12-02 06:48

　　众所周知,传统的神经网络的学习效率和学习速度远远低于要求,这一点已成为许多应用的主要瓶颈。而宽度学习模型是最近提出的神经网络模型。与传统的深度神经网络模型不同,宽度学习模型具有扁平化的网络结构。因此,它可以被快速有效地训练。但该模型不具备挑选优质网络节点的能力,同时该模型每次增加的网络节点是随机生成的,因此该模型不能有效地通过减少当前网络残差来优化出新的隐藏层节点。针对以上两问题,本文对宽度学习模型进行改进和扩展。一方面从信息论的角度分析宽度学习模型。通过应用新提出的基于矩阵的R（?）nyi信息熵,分析了特征节点与输出节点之间的互信息,结果表明不同节点的贡献程度互不相同。因此,提出了一种基于互信息的正交宽度学习模型的特征选择算法。我们分别在分类和回归数据集上进行实验,以证明所提出算法的有效性。另一方面,虽然上面提出的改进方法使模型具备了特征选择能力,但是改进的模型依然不具备学习优化能力,因此结合每次降低当前模型的残差的思想来扩展宽度学习模型。通过每次减少当前网络模型的残差来依次优化出新的隐藏层网络节点,并且使用高斯过程隐变量模型来对原始数据进行特征提取。因而提出了一种基于高斯过程隐变量... 

【文章来源】：武汉科技大学湖北省

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

函数链接神经网络结构示意图

武汉科技大学硕士学位论文7图2.2从图2.1重新绘制出相同的函数链接网络结构图宽度学习模型正是从随机向量函数链接网络演化而来，因此可以基于求解Moore-Penrose广义逆[40]并避免基于梯度下降的学习算法的冗长训练过程来训练宽度学习神经网络。宽度学习模型的框架如图2.3所示。下面介绍宽度学习模型的详细信息。图2.3宽度学习模型网络结构图如图2.3所示，输入数据用表示，其中N是输入样本个数，D是输入数据维度。输出标签用Y表示，其中d是输出数据的维度。洸表示从输入数据映射到特征层的洸个特征节点，并且映射函数定义如下：

武汉科技大学硕士学位论文9图2.4模型动态扩展示意图以下将结合函数链接神经网络的扩展方法，来介绍宽度学习模型的动态扩展方法。在传统的神经网络模型中，网络的结构是固定的，需要优化参数以获得更好的性能。相反宽度学习模型的参数是随机选择和固定的，并且通过增加增强节点的数量来优化模型的结构。以下是动态增量更新算法的简要介绍。对于已经训练好的的宽度学习模型，假定将新增加的增强节点添加到增强层。新添加的节点可以表示为：洸h洸h洸h其中权重洸h和洸h也是随机生成的。因此，矩阵t应该更新为：tt洸h洸h其中洸h和洸h是随机生成的将特征节点连接到其他增强层节点的权重和偏置。然后，可以通过以下公式计算出宽度学习模型新的输出权重：洸tt洸th其中矩阵t的伪逆如下：


本文编号：3527940