基于Spark的OS-ELM并行化算法

发布时间：2018-08-26 18:03

【摘要】：针对Spark平台的弹性分布式数据集并行计算框架机制,提出一种在线连续极限学习机并行处理的改进算法。利用分离在线连续极限学习机矩阵之间的依赖关系,将大规模数据中的高度复杂的矩阵分布到Spark集群中并行化计算,并行计算多个增量数据块的隐藏层输出矩阵,实现OS-ELM对矩阵的加速求解。实验结果表明,该算法在保持精度的同时可有效缩短学习时间,改善了大数据的扩展能力。
[Abstract]:An improved algorithm for parallel processing of online continuous limit learning machines (CLMs) is proposed to solve the problem of elastic distributed data set parallel computing framework based on Spark platform. By using the dependence relation between the matrix of separated on-line continuous ultimate learning machine, the highly complex matrix in large-scale data is distributed to the parallel computing in Spark cluster, and the hidden layer output matrix of multiple incremental data blocks is computed in parallel. The accelerated solution of matrix by OS-ELM is realized. The experimental results show that the algorithm can effectively shorten the learning time and improve big data's ability to expand.
【作者单位】： 西安邮电大学计算机学院;
【基金】：国家自然科学基金资助项目(61572399) 陕西省科技新星资助项目(2013KJXX-29)
【分类号】：TP338.6

【相似文献】

相关期刊论文 前10条

1 孙广中;陈国良;徐云;郑启龙;吴俊敏;;并行计算系列课程教学团队建设[J];中国大学教学;2008年02期

2 孙广中;徐云;郑启龙;吴俊敏;陈国良;;并行计算系列课程教学团队建设[J];计算机教育;2008年15期

3 陆克中;孙宏元;;同构集群中并行计算熵研究[J];深圳大学学报(理工版);2009年01期

4 胡霞;;并行计算如何用于科学问题研究[J];科技资讯;2009年27期

5 颜宝勇;快速富里叶变换的并行计算[J];计算机工程与科学;1984年03期

6 吴靖;;一种用于基因序列比较的并行计算方法[J];国外医学.生物医学工程分册;1992年01期

7 李斌;并行计算用的计算机和模型[J];管理科学文摘;1996年04期

8 魏臻;;高性能计算,高兴能计算[J];中国教育网络;2010年06期

9 刘杰,迟利华,胡庆丰;优化并行计算的性能评价[J];计算机工程与设计;2000年06期

10 刘赫男,罗霄,高晓东;并行计算的现状与发展[J];煤;2001年01期

相关会议论文 前10条

1 黄宇光;;整体同步并行计算方法的现状与发展[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年

2 罗文彩;陈小前;;并行计算的多方法优化协作[A];第二十四届中国控制会议论文集（上册）[C];2005年

3 左风丽;莫则尧;叶文华;;计算流体三维分裂格式的高效并行计算[A];中国工程物理研究院科技年报（2003）[C];2003年

4 王欣;李志山;张志远;;并行计算在弹塑性时程分析中的应用[A];信息化推动工程建设工业化——第四届工程建设计算机应用创新论坛论文集[C];2013年

5 张理涛;黄廷祝;谷同祥;左宪禹;;一种适合于分布式并行计算改进的平方共轭残差法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

6 胡金初;;并行计算中的任务分配算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

7 宋庭新;李慧;;面向服务的有限元并行计算网格系统设计[A];湖北省机械工程学会设计与传动学会、武汉机械设计与传动学会2008年学术年会论文集（2）[C];2008年

8 裘懿勇;徐斌;刘晓明;;并行计算作业调度系统的架构及应用[A];第十四届中国科协年会第5分会场：绿色船舶与海洋装备创新发展及产业化论坛论文集[C];2012年

9 裘懿勇;徐斌;刘晓明;;并行计算作业调度系统的架构及应用[A];2012年MIS/S&A学术交流会议论文集[C];2012年

10 肖保国;杨顺华;邢建文;赵慧勇;;当地自适应建表方法在煤油超燃发动机并行计算中的应用[A];第十四届全国激波与激波管学术会议论文集（下册）[C];2010年

相关重要报纸文章 前10条

1 轶嘉;英特尔全球首个并行计算中心落户无锡[N];人民邮电;2009年

2 曙光信息产业有限公司研发中心 温鑫;并行计算任重道远[N];中国计算机报;2007年

3 英特尔并行计算实验室研究员 TimothyMattson;并行计算:减少串行软件[N];中国计算机报;2007年

4 曙光信息产业有限公司研发中心 温鑫;并行计算软件开发概述[N];中国计算机报;2007年

5 刘霞;计算能力的提升需要一场革命[N];科技日报;2010年

6 安世亚太 雷先华;ANSYS高性能并行计算[N];中国航空报;2005年

7 张云泉;并行计算：迎接多核时代的挑战[N];计算机世界;2006年

8 本报记者 马文方;英特尔为何要牵头并行计算[N];中国计算机报;2009年

9 英特尔 赵军(Jun Zhao);PC机并行计算革命尚未成功[N];中国计算机报;2009年

10 ;Linux下的网络并行计算[N];计算机世界;2000年

相关博士学位论文 前10条

1 张雨新;改进的MPS方法及其三维并行计算研究[D];上海交通大学;2014年

2 孙安香;数值气象预报变分同化的伴随模式并行计算[D];中国人民解放军国防科学技术大学;2002年

3 张理论;面向气象预报数值模式的高效并行计算研究[D];中国人民解放军国防科学技术大学;2002年

4 龙柏;并行计算平台上的数据索引技术研究[D];中国科学技术大学;2011年

5 管建和;电磁场有限元法解释分布式并行计算的研究[D];中国地质大学（北京）;2006年

6 刘耀儒;三维有限元并行计算及其在水利工程中的应用[D];清华大学;2003年

7 金晶;并行计算普适编程模型及系统架构研究[D];北京邮电大学;2012年

8 盛艳秀;多核异构环境下通用并行计算框架关键技术研究[D];中国海洋大学;2013年

9 张帆;过程系统优化的分布式并行计算[D];浙江大学;2002年

10 刘寿生;虚拟现实仿真平台异构并行计算关键技术研究[D];中国海洋大学;2014年

相关硕士学位论文 前10条

1 张康宇;基于ASAR近海风场反演方法研究[D];浙江大学;2015年

2 胡荣华;并行计算在临近天气预报系统中的应用研究[D];华南理工大学;2015年

3 严善楷;异构系统中并行计算的动态负载均衡技术研究[D];华南理工大学;2015年

4 陈磊;基于监控信号的多信息提取识别的并行计算方法[D];南京理工大学;2015年

5 焦弘杰;CPU-GPU异构并行计算体系的设计与实现[D];江苏科技大学;2015年

6 陈从江;基于面向云服务的Python并行计算的研究[D];电子科技大学;2014年

7 唐吉卓;基于GPU平台的SVD并行计算研究与实现[D];电子科技大学;2014年

8 吴颀;GPU并行计算及其在飞行器设计中的应用[D];北京理工大学;2015年

9 李保安;基于液态食品冷冻浓缩冰晶生长机制并行计算[D];电子科技大学;2013年

10 钟承群;基于CPU/GPU异构并行计算的OTN仿真验证系统的研究与实现[D];电子科技大学;2015年

，

本文编号：2205722