大数据下的典型机器学习平台综述

发布时间：2018-01-05 13:20

本文关键词：大数据下的典型机器学习平台综述　出处：《计算机应用》2017年11期 　论文类型：期刊论文

【摘要】：由于大数据海量、复杂多样、变化快,传统的机器学习平台已不再适用,因此,设计一个高效的、通用的大数据机器学习平台成为目前的研究热点。通过介绍和分析机器学习算法的特点以及大规模机器学习的数据和模型并行化,引出常见的并行计算模型。简单介绍了整体同步并行模型(BSP)、SSP并行计算模型以及BSP、SSP模型与AP模型的区别,主要介绍了基于这些并行模型的典型的机器学习平台和这些平台的优缺点,并指出各个平台最适合处理何种大数据问题。最后从采用的抽象数据结构、并行计算模型、容错机制等方面对典型的机器学习平台进行了总结,并提出一些建议和展望。
[Abstract]:Because of big data's magnanimity, complexity and variety, rapid change, the traditional machine learning platform is no longer applicable, so, design an efficient. The general big data machine learning platform has become a research hotspot. By introducing and analyzing the characteristics of machine learning algorithm and parallelizing the data and model of large-scale machine learning. The common parallel computing model is introduced, and the global synchronous parallel model (BSPN) SSP parallel computing model and the difference between BSPG SSP model and AP model are briefly introduced. This paper mainly introduces the typical machine learning platform based on these parallel models and the advantages and disadvantages of these platforms, and points out what kind of big data problem each platform is most suitable to deal with. Finally, the abstract data structure is adopted. This paper summarizes the typical machine learning platform in parallel computing model and fault-tolerant mechanism, and puts forward some suggestions and prospects.
【作者单位】：南京邮电大学计算机学院软件学院网络空间安全学院;
【基金】：国家自然科学基金资助项目(61603197) 江苏省自然科学基金资助项目(BK20140885)~~
【分类号】：TP181
【正文快照】： 0引言近年来,随着数据收集手段的丰富及数据存储能力的提升,公司、企业存储的以及科学研究(如:脑电信号分析等)产生的数据量急剧增加。对大数据进行科学的分析来获取更加有价值的信息是一项具有挑战性的任务,大数据机器学习则是完成这项任务的关键技术。目前机器学习应用广泛,

【相似文献】