基于Hadoop架构的数据驱动的SVM并行增量学习算法

发布时间：2017-07-01 13:24

  本文关键词：基于Hadoop架构的数据驱动的SVM并行增量学习算法，由笔耕文化传播整理发布。

【摘要】：针对传统支持向量机(SVM)算法难以处理大规模训练数据的困境,提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法(PIASVM)。利用集成学习策略,局部分类器处理一个分区的数据,融合其分类结果得到组合分类器;增量学习中用权值刻画样本的空间分布特性,对样本进行迭代加权,利用遗忘因子实现新增样本的选择及历史样本的淘汰;采用基于HBase的控制器组件用以调度迭代过程,持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力。多组实验结果表明,所提算法具有优良的加速比、扩展率和数据伸缩度,在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力。
【作者单位】： 天津大学计算机科学与技术学院;天津市认知计算与应用重点实验室(天津大学);
【关键词】： Hadoop HBase 支持向量机 增量学习 集成学习 遗忘因子 控制器组件
【基金】：国家自然科学基金资助项目(61170177) 国家863计划重点项目(2015AA020101) 国家973计划项目(2013CB32930X)~~
【分类号】：TP181
【正文快照】： 0引言我们正处于大数据时代,数据的增长速率已经远远超出了单机计算能力的提升速率。如何提高分类算法处理海量数据的能力是一个亟待解决的问题。在分类算法领域,支持向量机(Support Vector Machine,SVM)算法以其较好的健壮性和稳定性一直是主流的分类算法,SVM基于统计学习理

【相似文献】

中国期刊全文数据库 前10条

1 秦玉平;王秀坤;王春立;;实现兼类样本类增量学习的一种算法[J];控制与决策;2009年01期

2 秦玉平;王秀坤;王春立;;实现兼类样本增量学习的一种算法[J];计算机应用与软件;2009年08期

3 秦玉平;陈一荻;王春立;王秀坤;;一种新的类增量学习方法[J];计算机工程与应用;2011年34期

4 时建中;程龙生;;基于增量学习系统的财务危机动态预警[J];技术经济;2012年05期

5 王洪波;赵光宙;齐冬莲;卢达;;一类支持向量机的快速增量学习方法[J];浙江大学学报(工学版);2012年07期

6 秦玉平;伦淑娴;王秀坤;;一种新的兼类样本类增量学习算法[J];计算机科学;2012年09期

7 姜卯生,王浩,姚宏亮;朴素贝叶斯分类器增量学习序列算法研究[J];计算机工程与应用;2004年14期

8 刘梅,权太范,姚天宾;基于增量学习神经模糊网络的机动目标跟踪[J];电子学报;2005年11期

9 李祥纳;艾青;秦玉平;刘卫江;;支持向量机增量学习算法综述[J];渤海大学学报(自然科学版);2007年02期

10 曹杰;刘志镜;;基于支持向量机的增量学习算法[J];计算机应用研究;2007年08期

中国重要会议论文全文数据库 前8条

1 秦亮;唐静;史贤俊;肖支才;;一种改进的支持向量机增量学习算法[A];2011年中国智能自动化学术会议论文集（第一分册）[C];2011年

2 罗长升;段建国;许洪波;郭莉;;基于拉推策略的文本分类增量学习研究[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

3 张庆彬;吴惕华;刘波;;一种改进的基于群体的增量学习算法[A];第二十六届中国控制会议论文集[C];2007年

4 张健沛;李忠伟;杨静;;一种基于多支持向量机的并行增量学习方法(英文)[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

5 王悦凯;吴晓峰;翁巨扬;;Where-What网络增量学习特性探究[A];第一届全国神经动力学学术会议程序手册 & 论文摘要集[C];2012年

6 赵莹;万福永;;支持向量机的增量学习算法及其在多类分类问题中的应用[A];第25届中国控制会议论文集（下册）[C];2006年

7 刘欣;章勇;王娟;;增量学习的TFIDF_NB协同训练分类算法[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

8 宫义山;钱娜;;贝叶斯网络结构在线学习算法及应用[A];科学发展与社会责任（A卷）——第五届沈阳科学学术年会文集[C];2008年

中国博士学位论文全文数据库 前3条

1 李敬;增量学习及其在图像识别中的应用[D];上海交通大学;2008年

2 段华;支持向量机的增量学习算法研究[D];上海交通大学;2008年

3 赵强利;基于选择性集成的在线机器学习关键技术研究[D];国防科学技术大学;2010年

中国硕士学位论文全文数据库 前10条

1 郝运河;基于增量学习的复杂环境下道路识别算法研究[D];南京理工大学;2015年

2 李丹;基于马氏超椭球学习机的增量学习算法研究[D];渤海大学;2015年

3 赵翠翠;基于RBF神经网络的集成增量学习方法研究[D];河北工业大学;2015年

4 杜玲;覆盖算法的增量学习研究[D];安徽大学;2010年

5 张智敏;基于增量学习的分类算法研究[D];华南理工大学;2010年

6 李杰;数据复杂度的增量学习方法研究[D];广东工业大学;2015年

7 王媛;支持向量机增量学习算法及其在入侵检测中的应用研究[D];吉林大学;2008年

8 张灿淋;基于支持向量机的半监督式增量学习研究[D];浙江工业大学;2014年

9 吴慧;新的支持向量机增量学习算法[D];西安电子科技大学;2009年

10 李昕;基于文本分类的增量学习算法研究[D];中国地质大学（北京）;2013年

  本文关键词：基于Hadoop架构的数据驱动的SVM并行增量学习算法，由笔耕文化传播整理发布。

，

本文编号：506122