基于Spark的LIBSVM参数优选并行化算法

发布时间：2017-12-06 09:37

  本文关键词：基于Spark的LIBSVM参数优选并行化算法

  更多相关文章： LIBSVM 参数优选 网格搜索 并行化 Spark

【摘要】：利用Spark集群设计LIBSVM参数优选的并行化实现.LIBSVM是一款广泛使用的SVM软件包,广泛应用于模型搭建、样本训练和结果预测等方面.在用LIBSVM训练数据集时,参数的选择对训练结果影响显著,其中以参数C和g最为重要.LIBSVM软件包中采用网格搜索算法对C、g参数组合进行寻优,尽管该算法在单机上实现了并行化,但当数据量达到一定程度时,仍需要花费大量的时间.基于Spark并行计算架构,进行了LIBSVM的C、g参数网格优选并行算法的设计与实现.实验结果表明,提出的并行粗粒度网格搜索C、g参数优选算法比传统算法速度提升了近7倍,而且这一提升将随着集群规模的扩大而进一步加大.另一方面,在粗粒度网格搜索的基础上,进而提出的细粒度并行网格搜索算法又进一步提升了C、g参数组合的优选结果.
【作者单位】： 中国矿业大学信息与电气工程学院;中国矿业大学物联网(感知矿山)研究中心;矿山互联网应用技术国家地方联合工程实验室;南京大学计算机系PASA大数据实验室;
【基金】：国家高技术研究发展计划(863计划)(2013AA06A411) 国家自然科学基金(61471361) 中央高校基本科研业务费(2011QNB26)
【分类号】：TP18
【正文快照】： 在机器学习领域,LIBSVM作为支持向量机的一个工具软件包,在模型搭建、样本训练和结果预测方面得到了广泛应用.在大多数直接使用LIBSVM工具包的情况下,对于惩罚参数C和核函数参数g的选取,均采用传统的网格搜索算法进行寻优,该方法得到的并不是全局最优解,而在更大范围内进行寻

【相似文献】

中国期刊全文数据库 前10条

1 吴正娟;职为梅;杨勇;范明;;并行化的粒子群技术[J];微计算机信息;2009年36期

2 齐书阳;;迎接并行化的明天[J];软件世界;2009年06期

3 曹琳,杨学军,金国华;两种并行化机制的分析[J];计算机研究与发展;1993年09期

4 金国华，陈福接;并行化技术与工具[J];计算机研究与发展;1996年07期

5 蔡立志,童维勤,廖文昭;序列拼装程序的并行化研究与实现[J];计算机工程与应用;2003年14期

6 王伟;潘建伟;;有限差分法的并行化计算实现[J];电脑知识与技术;2008年07期

7 程锦松;;迭代法的并行化[J];安徽大学学报(自然科学版);1997年03期

8 陈再高;王s，

本文编号：1258165