一种改进的Hadoop数据负载均衡算法

发布时间：2018-02-16 05:21

  本文关键词： Hadoop 负载均衡 云计算 云存储　出处：《河南理工大学学报(自然科学版)》2013年03期 　论文类型：期刊论文

【摘要】：在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.
[Abstract]:On the basis of introducing the principle of Hadoop HDFS, this paper analyzes the data load balancing algorithm of Hadoop. Hadoop load balancing algorithm only balances the load of each node according to the space utilization rate. This balancing method does not consider the processing power and bandwidth of the node. The paper presents an improved load balancing model, which combines file size, file concurrent access time, and so on. The results of the experiment show that the improved model not only realizes load balancing of storage space, but also achieves load balance, such as file access frequency, processing power of nodes, bandwidth, available storage space of nodes, and other factors, such as file access frequency, processing capacity of nodes, bandwidth and available storage space. And make the response time of the same kind of file more consistent.
【作者单位】： 北京联合大学应用科技学院;吉林大学计算机科学与技术学院;
【基金】：北京市教育委员会科技计划面上项目(SQKM201211417008)
【分类号】：TP393.09

【参考文献】

相关期刊论文 前4条

1 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

2 谷国太;肖汉;;并行计算与并行处理技术的应用研究[J];河南理工大学学报(自然科学版);2009年05期

3 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

4 刘琨;肖琳;赵海燕;;Hadoop中云数据负载均衡算法的研究及优化[J];微电子学与计算机;2012年09期

【共引文献】

相关期刊论文 前3条

1 武娟;黄海;钱锋;李拥军;寿质彬;;基于多变量动态算法的Hadoop负载均衡优化与实现[J];电信科学;2012年12期

2 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

3 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

相关硕士学位论文 前5条

1 张明志;基于DSP和FPGA的并行处理系统硬件设计[D];北京工业大学;2011年

2 孙江;基于多核处理器的普适性报文捕获技术研究[D];解放军信息工程大学;2011年

3 张兴起;基于VPX标准和多核DSP阵列的信息处理平台设计[D];天津大学;2012年

4 王利赛;基于“云计算”的继电保护整定系统的研究[D];华北电力大学;2012年

5 孙洪波;OSS/BSS云部署中的分布式计算特点的研究及应用[D];南京邮电大学;2013年

【二级参考文献】

相关期刊论文 前8条

1 林伟伟;齐德昱;刘波;;基于资源融合的网格任务调度模型与算法[J];华南理工大学学报(自然科学版);2008年01期

2 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

3 黄伟民,陆鑫达,钟嵘;更实际的异构并行计算模型[J];计算机工程;1999年09期

4 栾亚建;黄烂，

本文编号：1514755