云环境下影响数据分布并行应用执行效率的因素分析
本文选题：云环境 + 数据分布并行应用 ； 参考：《计算机应用》2017年07期
【摘要】：云环境下,类似MapReduce的数据分布并行应用被广泛运用。针对此类应用执行效率低、成本高的问题,以Hadoop为例,首先,分析该类应用的执行方式,发现数据量、节点数和任务数是影响其效率的主要因素;其次,探讨以上因素对应用效率的影响;最后,通过实验得出在数据量一定的情况下,增加节点数不会明显提高应用的执行效率,反而极大地增加执行成本;当任务数接近节点数时,应用的执行效率较高、成本较低。该结论为云环境中类似MapReduce的数据分布并行应用的效率优化提供借鉴,并为用户租用云资源提供参考。
[Abstract]:In cloud environment, data distribution parallel applications such as MapReduce are widely used. In order to solve the problem of low efficiency and high cost of such applications, Hadoop is taken as an example. Firstly, it is found that the amount of data, the number of nodes and the number of tasks are the main factors affecting the efficiency of Hadoop. Finally, through experiments, it is concluded that increasing the number of nodes will not obviously improve the efficiency of the application, but greatly increase the execution cost when the number of tasks is close to the number of nodes. The efficiency of the application is high and the cost is low. This conclusion provides a reference for the efficiency optimization of MapReduce similar data distribution parallel application in cloud environment, and provides a reference for users to rent cloud resources.
【作者单位】： 西北师范大学计算机科学与工程学院;
【基金】：国家自然科学基金资助项目(61462076)~~
【分类号】：TP3
【参考文献】
相关期刊论文 前7条
1 王春梅;胡玉平;易叶青;;Hadoop云计算平台的参数优化算法[J];华中师范大学学报(自然科学版);2016年02期
2 李千慧;魏海平;窦雪英;;基于Hadoop的排序性能优化研究[J];电子设计工程;2016年02期
3 李立耀;赵少卡;许华荣;;基于云平台的MapReduce性能优化策略[J];兰州大学学报(自然科学版);2015年05期
4 李三淼;李龙澍;;Hadoop中处理小文件的四种方法的性能分析[J];计算机工程与应用;2016年09期
5 冯登国;张敏;李昊;;大数据安全与隐私保护[J];计算机学报;2014年01期
6 刘丹丹;陈俊;梁锋;范小朋;;云计算异构环境下Hadoop性能分析[J];集成技术;2012年04期
7 丁泽柳;郭得科;申建伟;罗爱民;罗雪山;;面向云计算的数据中心网络拓扑研究[J];国防科技大学学报;2011年06期
相关硕士学位论文 前1条
1 杨浩;Hadoop平台性能优化的研究与实现[D];西南交通大学;2015年
【共引文献】
相关期刊论文 前10条
1 李江;吴怡松;张怡;尚恒冉;;大数据和隐私的辩证关系[J];通讯世界;2017年14期
2 沙乐天;肖甫;陈伟;孙晶;王汝传;;基于多属性决策及污点跟踪的大数据平台敏感信息泄露感知方法[J];通信学报;2017年07期
3 林旺群;高晨旭;陶克;邓波;包阳;;面向特定领域大数据平台架构及标准化研究[J];大数据;2017年04期
4 朱坤;黄瑞章;张娜娜;;一种基于MapReduce模型的高效频繁项集挖掘算法[J];计算机科学;2017年07期
5 廖军;蒋朝惠;郭春;平源;;一种基于权重属性熵的分类匿名算法[J];计算机科学;2017年07期
6 马生俊;陈旺虎;俞茂义;李金溶;郏文博;;云环境下影响数据分布并行应用执行效率的因素分析[J];计算机应用;2017年07期
7 李汉学;柳燕;;中小学“互联网+校园安全”模式的创建[J];教学与管理;2017年19期
8 李晓龙;;基于云计算的大数据平台信息安全对策分析[J];经营管理者;2017年18期
9 肖祥林;周春容;;大数据在公路工程质量监控中的应用与挑战[J];微型电脑应用;2017年06期
10 张兴宇;韩秋实;彭宝营;;基于数控机床远程监控技术的安全传输系统开发[J];组合机床与自动化加工技术;2017年06期
相关硕士学位论文 前2条
1 邓聃婷;云计算平台的能耗优化调度技术的研究[D];西南交通大学;2016年
2 关国栋;Hadoop容错调度技术研究[D];西南交通大学;2016年
【二级参考文献】
相关期刊论文 前10条
1 李铁;燕彩蓉;黄永锋;宋亚龙;;面向Hadoop分布式文件系统的小文件存取优化方法[J];计算机应用;2014年11期
2 樊超;凌捷;;改善Hadoop文件处理效率的技术研究[J];微电子学与计算机;2014年07期
3 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期
4 林利;石文昌;;构建云计算平台的开源软件综述[J];计算机科学;2012年11期
5 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期
6 李国杰;程学旗;;大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J];中国科学院院刊;2012年06期
7 袁玉;崔超远;乌云;陈祝红;;单机下Hadoop小文件处理性能分析[J];计算机工程与应用;2013年03期
8 代栋;周学海;杨峰;王超;;一种基于模糊推理的Hadoop异构机群自动配置工具[J];中国科学院研究生院学报;2011年06期
9 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期
10 ;A Method for Trust Management in Cloud Computing: Data Coloring by Cloud Watermarking[J];International Journal of Automation & Computing;2011年03期
【相似文献】
相关期刊论文 前10条
1 袁茵;;数据分布服务推动了注重数据的系统发展[J];电子技术;2006年11期
2 夏军;庞征斌;张峻;李永进;;一种基于0-1整数规划的全局数据分布优化方法[J];国防科技大学学报;2009年04期
3 郑胜;郝毫毫;;基于贝努利大数定律的数据分布算法[J];计算机工程;2009年19期
4 丁莹;几种数据分布设计方法的比较与进一步探讨[J];计算机时代;1994年04期
5 丁莹;几种数据分布设计方法的探讨[J];微型电脑应用;1994年04期
6 武继刚，庞淑萍;堆上的数据分布与堆选择算法[J];计算技术与自动化;1995年04期
7 陈楠;分布式数据库系统数据分布策略分析[J];计算机时代;1998年10期
8 钱旭明;;数据分布规划的数学模型[J];宁波大学学报(理工版);1992年02期
9 王于同;一种以负载平衡为目标的分布式数据分布算法[J];杭州电子工业学院学报;1995年02期
10 王秀坤,吴月堂,张盛;一种有效的数据分布算法[J];计算机工程与应用;2000年12期
相关会议论文 前10条
1 胥永康;岳筱玲;潘泽友;;基于数据分布的劳动力市场信息系统[A];第六届全国计算机应用联合学术会议论文集[C];2002年
2 李宏;;港口企业信息系统数据分布技术[A];全国飞机与船舶通信导航学术研讨会论文集（下）[C];2000年
3 陈楠;;分布式数据库系统的数据分布策略研究[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年
4 王e，
本文编号：2010446
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2010446.html
