支持向量机的模型与参数选择研究

发布时间：2020-06-20 10:19

【摘要】：支持向量机作为数据挖掘十大经典算法之一,能在理论上解出全局最优解,在解决小规模、非线性及高维度数据问题中效果显著,至今仍广受学术界和工业界的关注。在实际使用过程中,支持向量机中一个关键的问题是需要人工选定模型超参数,该选择对模型效果影响很大。常用的参数选择算法是网格搜索,但执行效率比较低。此外,在参数选择中常常需要评估不同参数下支持向量机模型的优劣。常用的模型选择算法是交叉验证,然而针对支持向量机的交叉验证过程比较耗时。为此,本文针对支持向量机的模型选择和参数选择过程分别提出了对应的优化算法。针对模型选择过程,我们提出了优化交叉验证算法的Alpha Seeding算法。针对参数选择过程,我们提出了优化网格搜索算法的Warm Start算法。具体说来文本的主要工作包括如下五点:1)本文对支持向量机的基础知识和理论进行了详细介绍,并对已有的基于支持向量机的模型选择和参数选择算法做了整理和分析。2)提出了支持向量机模型选择的Alpha Seeding算法,并在此算法基础上设计了三个不同的优化策略,即文中提到的ATO,MIR和SIR。3)提出了支持向量机参数选择的Warm Start算法,并在此算法基础上设计了OVA和PUA两种不同的优化策略,为了进一步加速参数选择过程,我们实现了WarmStart的GPU版本。4)对提出的Alpha Seeding算法和Warm Start算法做了一定的理论分析,说明算法的科学合理性。5)最后,通过设计多组对比实验,在算法效率、迭代次数、能处理的数据规模等角度证实了Alpha Seeding和Warm Start算法的可用性和有效性。
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP181
【图文】：

来表示，即该超平面由法向由正例还是负例构成的边界，其到超平大，我们就需要正负例边界之间的间隔等价于最小化 ，考虑到样本点可以转化成一个典型的二次规划问题， ( ) ≥ 看出，如果训练数据集是线性可分的。由于利用分类误差最小化策略求超平解出最优且唯一的超平面。

第三章 基于 Alpha Seeding 的支持向量机交叉验证优化条件。接着我们仔细观察一下交叉验证流程，我们用 折交叉验证为例，如图 3-1 中所示。 折交叉验证将数据集均匀分成 份，为了选择出一个较好的模型，我着训练 个模型，然后评估训练出来的这 个模型。在每一轮训练中，依次选择数据作为测试集 ，同时其余( )份数据构成训练集 ，用训练集 训练模试集 来评估该模型的性能。

【相似文献】

相关期刊论文 前10条

1 江少杰;宁纪锋;李云松;;加权间隔结构化支持向量机目标跟踪算法[J];中国图象图形学报;2017年09期

2 李娜;孙乐;胡一楠;李笑;王亚南;;模糊型支持向量机及其在入侵检测中的应用[J];科技创新与应用;2018年11期

3 邵元海;杨凯丽;刘明增;王震;李春娜;陈伟杰;;从支持向量机到非平行支持向量机[J];运筹学学报;2018年02期

4 高钦姣;张胜刚;贾晓薇;;基于支持向量机的股票价格预测模型研究与应用[J];课程教育研究;2016年28期

5 林香亮;袁瑞;孙玉秋;王超;陈长胜;;支持向量机的基本理论和研究进展[J];长江大学学报(自科版);2018年17期

6 安悦tD;丁世飞;胡继普;;孪生支持向量机综述[J];计算机科学;2018年11期

7 梁武;苏燕;;一种新的基于类内不平衡数据学习支持向量机算法[J];科技通报;2017年09期

8 吴青;梁勃;;分段熵光滑支持向量机性能研究[J];计算机工程与设计;2015年08期

9 牛r

本文编号：2722279