基于Spark并行SVM参数寻优算法的研究

发布时间：2021-09-29 07:56

　　针对传统支持向量机（SVM）参数寻优算法在处理大样本数据集时存在的寻优时间过长,内存消耗过大等问题,提出了一种基于Spark通用计算引擎的并行可调SVM参数寻优算法。该算法首先使用Spark集群将训练集以广播变量的形式广播给各个Executor,然后并行化SVM的参数寻优过程,并在在寻优过程中控制Task并行度,使各个Executor负载均衡,从而加快寻优速度。实验结果表明,本文提出的参数寻优算法,通过设置合理的Task并行度,可以在充分使用集群资源的同时提高最优参数的寻找速度,减少寻优时间。 

【文章来源】：武汉工程大学学报. 2019,41(03)

【文章页数】：7 页

【参考文献】：
期刊论文
[1]基于Spark的分布式大数据分析算法研究[J]. 宋泊东,张立臣,江其洲.  计算机应用与软件. 2019(01)
[2]基于Hadoop平台的分布式SVM参数寻优[J]. 吴云蔚,宁芊.  计算机工程与科学. 2017(06)
[3]Hadoop云平台MapReduce模型优化研究[J]. 张红,王晓明,曹洁,马彦宏,郭义戎,王慜.  计算机工程与应用. 2016(22)
[4]基于Spark的并行SVM算法研究[J]. 刘泽燊,潘志松.  计算机科学. 2016(05)
[5]基于Spark的LIBSVM参数优选并行化算法[J]. 李坤,刘鹏,吕雅洁,张国鹏,黄宜华.  南京大学学报(自然科学). 2016(02)
[6]基于Hadoop云平台的分布式支持向量机[J]. 张小琴,胡景,肖炜.  山西师范大学学报(自然科学版). 2015(04)
[7]基于MapReduce的SVM分类算法研究[J]. 秦军,戴新华,童毅,林巧民.  计算机技术与发展. 2015(06)
[8]海量数据挖掘过程相关技术研究进展[J]. 米允龙,米春桥,刘文奇.  计算机科学与探索. 2015(06)
[9]基于MapReduce的层叠分组并行SVM算法研究[J]. 张鹏翔,刘利民,马志强.  计算机应用与软件. 2015(03)

硕士论文
[1]Hadoop平台参数寻优的分布式SVM算法研究[D]. 王越.西安理工大学 2016



本文编号：3413349