基于学习率衰减的深度学习超参数优化方法的研究

发布时间：2024-04-21 19:22

　　学习率衰减策略是深度学习算法优化中常用的学习率设定方法,好的学习率设定方式可以训练出更好的深度神经网络模型。因此,如何设定好的学习率衰减是深度学习领域的一个前沿问题,非常值得研究。在本论文中,我们详细研究了不同指数的多项式学习率衰减对深度神经网络模型性能的影响,并提出了一种对任意可导的衰减函数都适用的学习率衰减函数的调整方法——k-Decay方法。基于k-Decay方法可对原衰减函数的衰减变化率进行不同程度的加强或减弱,得到新的衰减函数,利用新函数训练出的模型其精度要优于原函数。在基于该方法的新衰减函数中引入新的超参数k,可以控制衰减函数的学习率的衰减程度,而原衰减函数恰好是新衰减函数在k=1时的特例。我们将k-Decay方法应用于多项式衰减、余弦衰减和指数衰减,分别给出了基于该方法的新衰减函数的解析表达式。为了验证k-Decay方法的有效性,我们采用了基于该方法得到的新多项式衰减函数作为学习率的设定方法,选用了当前最先进架构的几个深度神经网络(ResNet、Wide ResNet 和 DenseNet),在 CIFAR10和 CIFAR100 数据集上进行了广泛的测试,证明了该方法的...

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

图２－１：生物神经元??人工神经元（Ａｒｔｉｆｉｃｉａｌ?Ｎｅｕｒｏｎ）是神经网络的基本单元，它是一种模拟生物神??经元的结构和特性的数学模型，其作用是通过接收一组输入信号经过一系列变换并??

硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??第２章深度神经网络??深度学习中的’＿深度”说明了输入数据经过不同的深度神经网络层进行非线性??变换的次数，这些网络层由许多的神经元组成，其中非线性变换主要来源于激活函??数，它们在一起构成了前馈神经网络。本章介绍了深度学习中的前....

图２－３：?Ｓｉｇｍｏｉｄ函数曲线??

ｚＳｍ硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ???＇??—＾＝＝＝＾??—?Ｓｉｇｍｏｉｄ??０．８?／?－??０．６?－?／??Ｓ??０．４?■??０．２?■?／??〇．〇?Ｉ??＾Ｚ??１???－１０?－５０?５?１０??ｚ??图２－３：?Ｓｉｇｍｏｉｄ函数曲线??１....

图２￣４：?Ｔａｎｈ函数曲线??

以看出，它对输入进行了归一化操作，输出值在［〇，１］区间，不同于??Ｓｉｇｍｏｉｄ函数的是，Ｓｏｆｔｍａｘ函数常用于多元分类（Ｍｕｌｔｉｃｌａｓｓ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）问题，??常用于多分类网络的最后一层。??１０．?????Ｉ?－?Ａ??一?ＲｅＬＵ??—Ｌｅａｋｙ?....

图２－５：?ＲｅＬＵ函数曲线??

奸学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．３前馈神经网络??＇??Ｉｎｐｕｔ?Ｌａｙｅｒ?￡?Ｒ５?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?￡?Ｒ１０?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?￡?Ｒ１０?Ｈｉｄｄｅｎ?Ｌａｙｅｒ?Ｇ?Ｒ１０?Ｏｕｔｐｕｔ?Ｌａｙｅｒ?￡?Ｒ２??图２－６：前馈神经....

本文编号：3961346