机器学习中大规模数据的方差缩减梯度算法研究

发布时间：2021-01-15 08:30

　　科技的快速发展可以让人们获得大量数据,这些数据中包含着重要信息以及各种噪声,如何从数据中获得有用知识是机器学习现阶段最重要的事情。在机器学习中,数学优化是基础之一,几乎涉及该学科的各个方面。机器学习中的数学优化主要是对经验风险最小化问题进行求解,其中经验风险最小化问题是指函数模型预测的结果期望误差最小化。求解经验风险最小化问题本身是整个机器学习领域中的一大难题,所以设计一个快速高效的优化算法成为研究人员一直追求的目标。本文针对机器学习中的数学优化,首先提出一种用于求解经验风险最小化问题的优化算法,同时对机器学习中的结构风险最小化问题进行研究。本文的主要研究成果包括以下方面:（1）批量减数更新梯度下降算法（Batch Subtraction Update Gradient,BSUG）。为了应对由于随机梯度引入方差而导致不能线性收敛的问题,我们在已有方差缩减算法的基础上改进,设计了一个新的方差缩减算法。在训练过程中BSUG使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。通过与其他方差缩减算法进行实验对比,表明BSUG算法收敛速度达到线性收敛。为了对算法进行稳定性探究... 

【文章来源】：安徽大学安徽省 211工程院校

【文章页数】：61 页

【学位级别】：硕士

【部分图文】：

Relu函数图像

第四章结构风险最小化问题36{0,1,,}，这两个内存消耗主要与每批大小和训练参数有关。4.3实验设计与实验结果4.3.1实验数据CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有5万张训练图片和1万张测试图片。其中，训练批次包含每个类的5000幅图像。测试批次包含每个类的1000幅图像。而且这些类是完全互斥的。汽车和卡车之间没有重叠。“汽车”包括轿车，越野车，诸如此类的东西。“卡车”只包括大卡车。也不包括皮卡。图4.1CIFAR-10数据集示例Figure4.1CIFAR-10datasetexample该数据集不同于MNIST数据集，MNIST数据集中的图像是灰度图像，并且


本文编号：2978586