Hadoop和Spark在实验室中部署与性能评估

发布时间：2018-06-07 09:02

  本文选题：大数据 + 分布式计算　； 参考：《实验室研究与探索》2015年11期

【摘要】：随着互联网技术的发展,数据量成爆炸性增长趋势,单机难以存储、组织和分析这些海量数据。面对单机难以处理海量数据的现状,建立分布式计算平台对于今后科研工作和实验教学具有重要的意义。就如何在实验室环境下搭建分布式计算平台做了详细说明并对hadoop和spark的性能进行比较,包括Hadoop和Spark集群的安装和部署,Spark集成开发环境的建立,同一组数据集在两个平台上进行Kmeans聚类的时间对比。对于建设分布式计算平台具有一定的指导意义。
[Abstract]:With the development of Internet technology, the amount of data is increasing explosively, and it is difficult to store, organize and analyze the huge amount of data on a single computer. In the face of the current situation that it is difficult to deal with massive data on a single computer, it is of great significance to establish a distributed computing platform for scientific research and experimental teaching in the future. This paper describes how to build a distributed computing platform in laboratory environment and compares the performance of hadoop and spark, including the installation and deployment of Hadoop and Spark clusters and the establishment of an integrated development environment for Spark. The Kmeans clustering time of the same data set is compared on two platforms. It has certain guiding significance for the construction of distributed computing platform.
【作者单位】： 南京信息工程大学电子与信息工程学院;
【基金】：国家自然科学基金项目(61203273) 江苏省自然科学基金项目(BK20141004) 南京信息工程大学大学生实践创新训练计划项目(201410300175)
【分类号】：TP338.8

【参考文献】

相关期刊论文 前1条

1 陈慧芬;卢庆武;;云计算在高校机房管理中的应用[J];实验室研究与探索;2013年07期

【共引文献】

相关期刊论文 前10条

1 李琳;;基于云计算的高校机房管理方法探究[J];电脑知识与技术;2013年36期

2 王孟;廖云;;高校机房管理策略及创新[J];广东化工;2014年16期

3 徐辉;赵敏;;开源云计算平台构建机房虚拟云桌面的实现[J];广东技术师范学院学报;2014年11期

4 程冉;;虚拟桌面技术在实验室管理中的应用[J];计算机光盘软件与应用;2015年01期

5 陈小君;苏宝玺;;基于开放式的高校机房管理现状、问题及对策分析[J];赤峰学院学报(自然科学版);2015年13期

6 姚灿辉;;云计算技术在高校机房实验室管理中的应用[J];信息通信;2014年11期

7 陆刚兰;;云计算技术在高校实验室管理中的应用[J];科技与创新;2015年03期

8 郭少辉;;云环境下公共计算机机房信息安全策略研究[J];软件导刊(教育技术);2014年08期

9 董启贵;;云计算技术在高校机房管理中的应用[J];通讯世界;2015年01期

10 肖涛;何怀文;梁瑞仕;;桌面云在高校计算机实验室中的应用[J];实验室科学;2015年01期

【二级参考文献】

相关期刊论文 前10条

1 邬晓明;丁怡;;新型还原卡在高校机房的应用[J];电脑知识与技术;2010年33期

2 汪来富;沈军;金华敏;;云计算应用安全研究[J];电信科学;2010年06期

3 卢植衡;刘兰淇;;机房硬盘保护卡系统维护的技术实践[J];煤炭技术;2012年01期

4 郜激扬;;穿透硬盘还原卡的病毒分析与预防[J];实验技术与管理;2009年08期

5 王玉芬;郭晓娟;;云计算对高校教学资源影响解析[J];实验技术与管理;2010年05期

6 许克勤;;硬盘保护卡的破解测试及对策[J];实验技术与管理;2010年06期

7 邹利民;;几种硬盘还原卡的性能比较[J];实验室研究与探索;2006年08期

8 林瑜华;;云计算环境下高校实验教学模式的创新与实践[J];实验室研究与探索;2011年08期

9 魏建琳;;还原卡的原理解读与漏洞分析[J];西安文理学院学报(自然科学版);2010年04期

10 韦华昌;;论云计算环境下民族高校图书馆特色资源建设[J];西南民族大学学报(人文社会科学版);2012年02期

【相似文献】

相关期刊论文 前10条

1 逄利华;张锦春;;基于Hadoop的分布式数据库系统[J];办公自动化;2014年05期

2 郑玮;;Hadoop释放大数据潜能[J];软件和信息服务;2012年10期

3 刘尔凯;崔振东;;基于HADOOP技术 实现银行历史数据线上化研究[J];金融电子化;2014年01期

4 邹群;;一种基于Hadoop的数字图书存储系统设计方案[J];黑龙江史志;2014年01期

5 谌章义;毕伟;向万红;王国安;吴爱国;;基于Hadoop的海量电费数据处理模型[J];计算机系统应用;2014年05期

6 ;大数据不等于Hadoop[J];办公自动化;2014年06期

7 ;保障Hadoop数据安全的十大措施[J];计算机与网络;2013年08期

8 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

9 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期

10 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

相关重要报纸文章 前8条

1 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年

2 本报记者 王星;Hadoop引发大数据之战[N];电脑报;2012年

3 本报记者 邹大斌;Hadoop一体机降低大数据门槛[N];计算机世界;2012年

4 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年

5 乐天　编译;Hadoop：打开大数据之门的金钥匙[N];计算机世界;2012年

6 范范　编译;Hadoop用户可以使用多种搜索引擎[N];网络世界;2013年

7 波波　编译;Hadoop、Web 2.0为磁带带来新商机[N];网络世界;2013年

8 本报记者 郭涛;让更多人能够使用Hadoop[N];中国计算机报;2012年

相关硕士学位论文 前10条

1 刘君;基于Hadoop技术的气象数据采集及数据挖掘平台的研究[D];天津理工大学;2015年

2 谭旭;基于物流数据的快递网络分析与建模[D];浙江大学;2015年

3 赵伟;基于Hadoop的数据挖掘算法并行化研究[D];西南交通大学;2015年

4 赵振崇;基于Hadoop的决策树挖掘算法的研究[D];兰州大学;2015年

5 郭凯振;基于Hadoop的分布式计算系统的设计与实现[D];大连海事大学;2015年

6 高仲峰;基于Hadoop平台的桥梁结构健康监测系统的应用[D];西安科技大学;2012年

7 张丽云;基于Hadoop的企业知识管理系统的主要功能的研究与实现[D];东北师范大学;2014年

8 夏志刚;基于Hadoop的数字大棚云系统的设计和实现[D];大连理工大学;2014年

9 杨宁;基于Hadoop平台的广告检测系统研究与实现[D];复旦大学;2012年

10 张兴平;基于Hadoop的微博用户情感分类研究与实现[D];西安电子科技大学;2014年

，

本文编号：1990621