两类在线分类算法研究
发布时间：2021-09-24 22:43
最小二乘支持向量机和极限学习机是机器学习和数据挖掘等领域取得广泛关注和应用的两种算法。伴随信息化技术的不断发展与进步,流数据处理问题越来越多。在线学习是处理流数据挖掘问题的主流方法,基于在线学习的基本框架开发设计各类经典批处理算法模型的在线版本是处理大数据背景下各类学习任务的有效途径。目前的最小二乘支持向量机在线学习算法只能实现样本点的逐点更新,限制了其应用场景。为了提升最小二乘支持向量机在线学习算法的普适性,我们将原模型拓展为基于样本块的更新方式,提出了增量式最小二乘支持向量在线学习算法。该算法采用高斯块消元法,实现对支持向量集合和最小二乘支持向量机学习模型的动态更新,从而实现了实际应用问题中数据样本以数据块形式进行更新的问题;针对实际问题中存在类不平衡和概念漂移同时发生的情况,基于在线极限学习机算法模型和加权极限学习机算法模型,我们提出了预界在线加权极限学习机算法。通过最大值判定准则将预界策略引入算法,可有效防止重要样本信息的溢出,利用矩阵校正技术和Sherman-Morrison-Woodbury公式可实现模型的高效更新。多组数据集上的分类实验,数值验证了我们所提出算法的有效性和...
【文章来源】：中国石油大学(华东)山东省 211工程院校 教育部直属院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
极限学习机原理示意图
中国石油大学(华东)硕士学位论文13[01011100+0(0,1)11(0,1)(1,1)+1][].（2-23）因此鞍点矩阵的逆可以根据1和矩阵得到，如公式（2-24）：1=[],（2-24）其中=1+11,=1,=(1)1。因此，乘子向量和偏项可相应推断如下式：[]=1[0]=[][0].（2-25）LS-SVMs增量式样本块更新算法的原理示意图如图2-1所示。图2-1增量式样本块LS-SVMs算法示意图Fig.2-1TheschematicdiagramoftheIOLS-SVMsmodel算法示意图可以帮助我们可以更加了解基于样本块更新的增量式LS-SVMs在线学习算法的原理与含义。2.4数值实验本部分所有的数值实验都在MATLABR2015a环境中进行，运行电脑为Window7系统下3.2GHzInterlCorei5处理器和8GB的RAM。2.4.1双螺旋分类实验
第二章基于块更新的增量式最小二乘支持向量机在线学习算法14本文中的第一个实验程序，主要介绍了增量式样本块LS-SVMs的算法原理。我们分别使用圆形、雪花形、菱形点代表所有样本点、当前训练点和当前支持向量。在此实验中，样本点选定的是[-0.7,0.7]之间的数列。首先有10个样本点被选定为初始的支持向量，分别包括5个正类样本点和5个负类样本点，数据在实验过程中会两个接两个的形式到达。图2-2双螺旋分类实验结果Fig.2-2Theresultdiagramabouttwo-spiralclassificationproblem实验过程与结果见图2-2。从图2-2的图（1）中我们可以得出，模型根据当前的支持向量可以准确的分类当前样本点。接下来会有新的样本点加入，但是根据当前的支持向量不足以将现在所有的样本点正确分类，因此我们采用增量式样本块LS-SVMs算法对模型进行更新。新的样本块到来后，从其中分类出预测错误的点，接着预测错误的点会被添加到支持向量集中，并且对当前模型进行更新。如图2-2的图（2）所示，两类中误分的点被加入到支持向量集合中，并且模型也进行了相应的更改。如图2-2的图（3）中所示，一共有4个误分的点，支持向量集合和模型更新了2次。每当有错误的点出现，算法可以逐步发现有用的样本点，增量式样本块LS-SVMs算法就会更新支持向量集合和决策方程。最终结果如图2-2的图（4）所示，当最后4个误分的点加入到支持向量集合后，算法一共迭代更新了5次，每一次迭代都通过调整分类器而挖掘有用的信息。由最终实验结果中可知，算法最终可以将所有的样本点进行正确的分类。2.4.2基准数据集分类实验这里的基准数据集的数据指的是来自UCI数据集[75]和LIBSVM[76]网站的数据。基
本文编号：3408575
【文章来源】：中国石油大学(华东)山东省 211工程院校 教育部直属院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
极限学习机原理示意图
中国石油大学(华东)硕士学位论文13[01011100+0(0,1)11(0,1)(1,1)+1][].（2-23）因此鞍点矩阵的逆可以根据1和矩阵得到，如公式（2-24）：1=[],（2-24）其中=1+11,=1,=(1)1。因此，乘子向量和偏项可相应推断如下式：[]=1[0]=[][0].（2-25）LS-SVMs增量式样本块更新算法的原理示意图如图2-1所示。图2-1增量式样本块LS-SVMs算法示意图Fig.2-1TheschematicdiagramoftheIOLS-SVMsmodel算法示意图可以帮助我们可以更加了解基于样本块更新的增量式LS-SVMs在线学习算法的原理与含义。2.4数值实验本部分所有的数值实验都在MATLABR2015a环境中进行，运行电脑为Window7系统下3.2GHzInterlCorei5处理器和8GB的RAM。2.4.1双螺旋分类实验
第二章基于块更新的增量式最小二乘支持向量机在线学习算法14本文中的第一个实验程序，主要介绍了增量式样本块LS-SVMs的算法原理。我们分别使用圆形、雪花形、菱形点代表所有样本点、当前训练点和当前支持向量。在此实验中，样本点选定的是[-0.7,0.7]之间的数列。首先有10个样本点被选定为初始的支持向量，分别包括5个正类样本点和5个负类样本点，数据在实验过程中会两个接两个的形式到达。图2-2双螺旋分类实验结果Fig.2-2Theresultdiagramabouttwo-spiralclassificationproblem实验过程与结果见图2-2。从图2-2的图（1）中我们可以得出，模型根据当前的支持向量可以准确的分类当前样本点。接下来会有新的样本点加入，但是根据当前的支持向量不足以将现在所有的样本点正确分类，因此我们采用增量式样本块LS-SVMs算法对模型进行更新。新的样本块到来后，从其中分类出预测错误的点，接着预测错误的点会被添加到支持向量集中，并且对当前模型进行更新。如图2-2的图（2）所示，两类中误分的点被加入到支持向量集合中，并且模型也进行了相应的更改。如图2-2的图（3）中所示，一共有4个误分的点，支持向量集合和模型更新了2次。每当有错误的点出现，算法可以逐步发现有用的样本点，增量式样本块LS-SVMs算法就会更新支持向量集合和决策方程。最终结果如图2-2的图（4）所示，当最后4个误分的点加入到支持向量集合后，算法一共迭代更新了5次，每一次迭代都通过调整分类器而挖掘有用的信息。由最终实验结果中可知，算法最终可以将所有的样本点进行正确的分类。2.4.2基准数据集分类实验这里的基准数据集的数据指的是来自UCI数据集[75]和LIBSVM[76]网站的数据。基
本文编号：3408575
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3408575.html
