大数据分析的硬件与系统支持综述

发布时间：2018-12-12 12:21

【摘要】：近几年来,大数据的浪潮席卷全球,这给信息科学带来了新的挑战和机遇.传统的工具逐渐难以满足目前企业的需求,如何有效地存储与分析大规模的数据,是当今研究的热点与重点.首先阐述大数据的基本概念、4V特征,介绍了大数据的生命周期,并列举了几种数据处理模式与数据结构.文中归纳总结了目前针对大数据分析的硬件支持,介绍了几种典型的大数据分析的系统技术,例如Hadoop、Spark、Storm、Petuum等,并对这些典型的系统技术进行了对比分析.最后简述了大数据分析在政府、教育、交通、医疗中的典型应用.
[Abstract]:In recent years, big data's wave swept the world, which brought new challenges and opportunities to information science. Traditional tools are gradually difficult to meet the needs of enterprises. How to store and analyze large scale data effectively is the focus and focus of current research. Firstly, the basic concept of big data, the 4V characteristic, the life cycle of big data are introduced, and several data processing modes and data structures are listed. In this paper, the hardware support for big data analysis is summarized, and several typical system techniques of big data analysis, such as Hadoop,Spark,Storm,Petuum, are introduced, and these typical system techniques are compared and analyzed. At last, the typical application of big data analysis in government, education, transportation and medical treatment is briefly described.
【作者单位】： 华东师范大学计算机科学技术系;
【基金】：国家自然科学基金项目(61370175)资助 上海高校知识服务平台基金项目(ZF1213)资助
【分类号】：TP311.13

【相似文献】

相关期刊论文 前10条

1 张文霖;;数据分析初体验[J];数据;2013年05期

2 古福;;让大数据分析更快速、更简化[J];互联网周刊;2013年11期

3 于宗民;;数据分析应用的最大障碍[J];中国金融电脑;2007年08期

4 魏巍巍;;论数据分析在企业经营管理中的重要性[J];产业与科技论坛;2012年12期

5 张文霖;;数据分析六步曲[J];数据;2013年06期

6 戴未琰;;大数据分析概要[J];物联网技术;2013年08期

7 王海蕴;;大数据分析 市场成倍增长 深耕空间巨大[J];财经界;2013年10期

8 ;大数据分析系列3:大数据分析如何权衡存储[J];电脑与电信;2013年10期

9 马_";;对大数据分析相关问题的思考[J];信息通信技术;2013年06期

10 ;数据分析3.0[J];董事会;2014年01期

相关会议论文 前10条

1 申敏;;数据分析的原则和一般方法[A];2010年云南电力技术论坛论文集（文摘部分）[C];2010年

2 刘刚;;小学生数据分析观念的培养[A];中华教育理论与实践科研论文成果选编(第五卷)[C];2013年

3 石勇;;在银行和金融数据分析中的评分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年

4 吴一平;;基于数据分析的离校工作改进[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

5 吕大青;;送变电施工企业中数据分析的运用[A];第二届浙江中西部科技论坛论文集（第一卷）[C];2005年

6 李小花;李姝;;大数据分析在指挥信息系统中的应用[A];2014第二届中国指挥控制大会论文集（下）[C];2014年

7 范丽伟;唐焕文;唐一源;;空间独立成分分析在fMRⅠ数据分析中的应用[A];第九次全国生物物理大会学术会议论文摘要集[C];2002年

8 张军;李婕;;中国国民休闲状态变化研究——基于网上数据分析[A];第十五届全国区域旅游学术开发研讨会暨度假旅游论坛论文册[C];2010年

9 徐小龙;王汝传;姜波;;一种新的基于P2P的电信海量数据分析业务模式[A];普适计算及其软件新技术——第三届长三角计算机科技论坛文集[C];2006年

10 邵东华;;高速公路的平面控制复测与数据分析[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年

相关重要报纸文章 前10条

1 匿铭;数据分析的“磨刀阶段”[N];中华读书报;2013年

2 胡英;澳发布政府可信数据分析指导草案[N];人民邮电;2014年

3 郑爱民;陕西加强消费维权数据分析利用[N];中国工商报;2014年

4 本报驻美国记者 吴成良;“数据分析”成了“金饭碗”[N];人民日报;2014年

5 本报记者 杨群;大数据分析亮出专家的“自贸研判”[N];解放日报;2014年

6 周桂生　汤建国;数据分析行业登陆湖南,带来巨大商机[N];中国企业报;2008年

7 朱文明 甫瀚公司咨询专家;数据分析提升决策智慧[N];中国审计报;2009年

8 ;国采中心空调协议供货数据分析[N];政府采购信息报;2010年

9 武虹 审计署驻沈阳特派办;以数据分析为统领开展数字化审计工作[N];中国审计报;2012年

10 杰弗尼;行走在大数据分析误区旁的零售商[N];中国商报;2013年

相关博士学位论文 前6条

1 刘岳;区域地球化学数据分析及成矿信息融合模型研究[D];中国地质大学;2015年

2 董媛香;基于软集合的不完备不一致数据分析及决策方法研究[D];重庆大学;2014年

3 张睿;数据分析在污染控制领域的节能优化应用[D];中国科学技术大学;2014年

4 陈宜治;函数型数据分析若干方法及应用[D];浙江工商大学;2011年

5 郭广报;基于并行统计计算的金融数据分析[D];山东大学;2012年

6 孙建强;生物磁共振数据分析中的几个问题[D];中国科学院研究生院（武汉物理与数学研究所）;2014年

相关硕士学位论文 前10条

1 丁国辉;核磁共振数据分析中的两个问题[D];中国科学院研究生院(武汉物理与数学研究所);2015年

2 张清;面向精准广告投放的数据分析与可视化系统设计与实现[D];山东大学;2015年

3 周徐;基于分层采样的DeepWeb数据分析方法研究[D];苏州大学;2015年

4 王佳琦;纠正性反馈对高中生英语冠词习得的影响[D];内蒙古师范大学;2015年

5 顾星竹;基于Hadoop的PCF系统的设计与实现[D];南京大学;2014年

6 张海洋;大数据的统计分析技术比较研究[D];南京大学;2014年

7 扎娟娟;银保通管理系统的构建与实施[D];电子科技大学;2014年

8 关晨静;高中生英语跨文化交际能力的调查研究[D];江西师范大学;2015年

9 艾熙;银行客户关系管理系统的研究与分析[D];云南大学;2015年

10 陈庆来;初中生数据分析观念的培养策略研究[D];江苏师范大学;2014年

，

本文编号：2374541