神经网络规模自适应技术研究

发布时间：2020-08-14 16:38

【摘要】：自从1943年神经元模型被提出后,神经网络已经经历了几十年的发展。如今,虽然神经网络已经可以处理许多复杂的问题,例如图像处理,自然语言处理等等,但是神经网络的规模应该如何确定仍然是一个亟待解决的问题。神经网络的规模代表了神经网络包含参数的数量以及具体的网络结构。在训练时,规模过大的神经网络不仅会占用较多的存储与计算资源,对一些计算与存储资源有限的设备并不友好,而且会导致训练网络的时间大幅增加并出现过拟合的问题。规模过小的神经网络可能会无法正确拟合函数,导致训练失败。而一个规模适中的神经网络可以在保证训练效果的同时尽可能的减少训练的时间与占用的资源。在深度学习被提出后,由于网络的深度加深,神经网络规模也变得愈发难以确定。所以研究人员需要一种神经网络规模自适应的方法去确定最优的神经网络规模。本文提出一种通过数据集的特征去预测此数据集的最优神经网络规模的自适应方法。即通过数据集的数据维度,数据集的预测输出的维度,数据集数据的平均标准差等特征,预测训练这个数据集至少需要什么规模的神经网络。一般而言,复杂的关系需要的神经网络的规模应该更大,而简单的关系则使用一个规模较小的神经网络就可以正确拟合。具体做法如下:首先收集若干个数据集,随后通过蛮力法找出每个数据集对应的最优神经网络规模,然后将神经网络的规模与数据集的特征进行量化,并使用回归的方式分析数据集的特征与神经网络规模之间的关系。最终使用这种关系去预测数据集对应的最优神经网络规模。考虑到各种神经网络结构的通用性以及表示能力,本文选择了前馈神经网络作为训练数据集的神经网络结构。同时考虑到非线性性回归的难度,也使用前馈神经网络作为回归的工具。本文将训练数据集的神经网络称为基础神经网络,将拟合数据集与神经网络规模的网络称为元网络。本文收集了MNIST,CIFAR等数据集并进行了实验,结果表明,经过训练后的回归模型能够较为准确地判断出一个数据集的最优前馈神经网络的规模,验证了数据集与网络规模之间存在的必然联系。使用本文的方法,训练前馈神经网络之前,可以判断出最优神经网络的规模,减少训练时的开销并避免规模过大带来的资源浪费。
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP183
【图文】：

语音生成模型,音质,声音,隐藏层

图１．邋１三种语音生成模型的语音质量与人类的对比逡逑可以看出在使用ＷａｖｅＮｅｔ后，生成的语音的质量有明显提升，与人类的声音之间逡逑的差距进一步缩小。逡逑上述成果使用的神经网络规模也是经过了多次筛选后选择出的，可见一个合逡逑适的规模对于神经网络的训练的重要性。但是现在使用的网络大多较为复杂，找逡逑出规模合适的网络难度逐渐增加，所以自适应神经网络的规模变得很有必要。逡逑１．２相关工作逡逑关于神经网络的规模，已经有研究者进行了研究。万能近似定理逡逑［Ｃｙｂｅｎｋｏ，邋１９８９］邋［Ｈｏｒｎｉｃ，邋１９８９］表明，一个拥有线性输出层且拥有一层包含具有逡逑“挤压”性质的激活函数的隐藏层的前馈神经网络可以以任意精度逼近任何函数。逡逑这就意味着无论学习什么函数，一个单隐藏层的网络一定可以满足要求。但是，逡逑

函数,函数图像,图像,激活函数

，，逡逑不光滑，所以实际使用时常用ｓｉｇｍｏｉｄ函数作为代替。ｓｉｇｍｏｉｄ函数可以将压缩至０到１之间。ｓｉｇｍｏｉｄ函数为ｆ（ｘ）邋＝邋—＾■。除了邋ｓｉｇｍｏｉｄ函数夕卜，ｔａｎｈｌ＋ｅ￣ｘ逡逑数也常作为激活函数。图２．邋１展示了邋ｓｉｇｍｏｉｄ函数与ｔａｎｈ函数的图像。逡逑１．００１逦逦丨丨丨丨丨逡逑

函数图像,函数,神经元,神经元模型

所以实际使用时常用ｓｉｇｍｏｉｄ函数作为代替。ｓｉｇｍｏｉｄ函数可以将输逡逑入压缩至０到１之间。ｓｉｇｍｏｉｄ函数为ｆ（ｘ）邋＝邋—＾■。除了邋ｓｉｇｍｏｉｄ函数夕卜，ｔａｎｈ逡逑ｌ＋ｅ￣ｘ逡逑函数也常作为激活函数。图２．邋１展示了邋ｓｉｇｍｏｉｄ函数与ｔａｎｈ函数的图像。逡逑１．００１逦逦丨丨丨丨丨逡逑０．７５逡逑０．Ｓ０逦／逡逑０２Ｓ逦／逡逑０．００邋－＿■■■■他ｖ－ｒ邋逦逡逑－０．２Ｓ逦ｊ逡逑－０．Ｓ０逦／逡逑＾Ｊ－７５逦／逡逑－１．００逦逦Ｉ逦逦逦逡逑－Ｓ逦－４逦－５逦－？逦－ｔ逦０逦１逦２逦３逦４逦５逡逑图２．邋１邋ｓｉｇｍｏｉｄ函数与ｔａｎｈ函数的图像逡逑图中蓝色的函数图像表示ｓｉｇｍｏｉｄ函数，另一个表示ｔａｎｈ函数。可以看出，逡逑ｓｉｇｍｏｉｄ函数的取值在０和１之间，而ｔａｎｈ函数的取值在－１和１之间，二者的逡逑１１逡逑

【相似文献】