基于改进随机梯度下降算法的SVM

发布时间：2020-12-10 07:17

　　在机器学习领域,支持向量机(Support Vector Machine,SVM)是一个经典并且强大的学习算法。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。经典的SVM学习算法是从原始问题出发,运用拉格朗日乘数法将原始问题转化为对偶问题后进行求解。另一种训练SVM分类器的思路是直接从其原始问题入手,然后使用随机梯度下降算法来得到SVM的最优解。随机梯度下降算法是一个被广泛应用的优化算法,学术界针对随机梯度下降算法进行了许多改进。随机梯度下降算法的每次迭代过程只需处理一个随机的训练样例,它对线性SVM分类问题可快速得到最优解。本文首先将六种常用的随机梯度下降的改进方法与线性SVM结合,来探究这六种改进是否会对线性SVM目标函数的优化产生正面影响。除线性SVM外,对非线性SVM分类问题,通过引入核函数则可得到非线性SVM问题的最优解。因为随机梯度下降算法的运行时间与其迭代次数呈线性相关关系,而与训练集的大小无关,所以它非常善于处理大数据集。但是,当数据集大到无法加载入内存时,随机梯度下降算法同样会失效。对于数据集无法加载入内存的... 

【文章来源】：河北大学河北省

【文章页数】：41 页

【学位级别】：硕士

【部分图文】：

不含动量项

含动量项

ttt W 111WW ttt 出：1WT ]是在动量方法的基础上进行的改进。根据动量方法，动量项，而计算 1 t 可以预估计出下一个参数应该出现的位置。在这个过程中是盲目的，而 NAG 算法希望这个球能意识到自冲上斜坡时，能够自动减速。法的参数更新步骤如下： ttttJ 1 1方法一样，通常将超参数γ(<1)设置为 0.9。

【参考文献】：
硕士论文
[1]基于Hadoop平台的数据挖掘分类算法分析与研究[D]. 李正杰.南京邮电大学 2016
[2]Hadoop平台下的分布式SVM算法及其应用研究[D]. 熊定鸿.西南交通大学 2016
[3]基于Hadoop的分布式支持向量机的研究与应用[D]. 庞进.华北电力大学(北京) 2016
[4]基于Hadoop的并行优化方法及其在人脸识别中应用研究[D]. 张臻.电子科技大学 2015



本文编号：2908301