一种基于多衡量指标的HDFS负载均衡算法

发布时间：2018-03-02 17:28

  本文选题：Hadoop　切入点：HDFS　出处：《四川大学学报(自然科学版)》2014年06期 　论文类型：期刊论文

【摘要】：针对在Hadoop分布式文件系统中,系统默认的数据负载均衡算法在做负载均衡决策时只根据磁盘空间使用率这单一的衡量指标无法准确反映集群中各服务器实际的工作负载状况这一缺陷,通过研究和分析Hadoop分布式文件系统本身的负载均衡机制和在其基础上改进的负载均衡算法,本文提出了一种基于多衡量指标的负载均衡方法,定义了一个衡量指标函数,然后根据该函数计算集群中各数据服务器的负载量来对集群进行负载决策.最后通过实验结果表明,该方法有效地提高了Hadoop分布式文件系统中的负载均衡效果.
[Abstract]:In a Hadoop distributed file system, The default data load balancing algorithm can not accurately reflect the actual workload status of each server in the cluster according to the single measure of disk space utilization when making load balancing decision. By studying and analyzing the load balancing mechanism of Hadoop distributed file system and the improved load balancing algorithm based on it, a load balancing method based on multiple metrics is proposed, and a measurement index function is defined. Then the load of each data server in the cluster is calculated according to the function. Finally, the experimental results show that the proposed method can effectively improve the load balancing effect in Hadoop distributed file system.
【作者单位】： 四川大学计算机学院;
【基金】：国家自然科学基金(61173159)
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 陈登伟,鲁智勇;网络动态负载均衡算法分析[J];现代电子技术;2003年21期

2 赵兵选;卫星;樊少华;蔺玉;;基于累积点播概率的负载均衡算法研究[J];电子技术;2008年09期

3 李辉;张文博;王伟;;基于节点分组的异构集群负载均衡算法[J];计算机应用研究;2009年07期

4 黄开金;罗国明;陈良;;分布式散列表中的负载均衡算法研究[J];电子质量;2010年12期

5 邱钊;陈明锐;;Web集群负载均衡算法比较[J];现代计算机;2006年08期

6 陈勇;;一种高效的分布式反馈流量负载均衡算法[J];计算机工程;2009年02期

7 胡志刚;张艳平;;基于目标约束的分层动态负载均衡算法[J];计算机应用研究;2011年03期

8 周松泉;;一种改进的集群动态负载均衡算法[J];计算机与现代化;2012年01期

9 李新红;张敏菊;;负载均衡算法的应用研究[J];软件导刊;2012年08期

10 李永明;李冬;;基于综合负载动态分组的负载均衡算法研究[J];郑州轻工业学院学报(自然科学版);2012年06期

相关会议论文 前1条

1 张耀旭;肖征荣;;基于LTE-Advanced网络自优化的负载均衡算法[A];2011全国无线及移动通信学术大会论文集[C];2011年

相关重要报纸文章 前1条

1 本报记者　范毅波;安全的“平方”[N];网络世界;2003年

相关硕士学位论文 前10条

1 熊纪涛;校园网络中自适应负载均衡算法研究[D];电子科技大学;2008年

2 冯秀玲;云计算环境下的负载均衡算法的研究与设计[D];北京邮电大学;2012年

3 童瑞霞;基于动态反馈机制的集群负载均衡算法研究[D];武汉理工大学;2011年

4 杨潇;海量安全卡设备的负载均衡研究与实现[D];清华大学;2007年

5 魏钦磊;基于集群的动态反馈负载均衡算法的研究[D];重庆大学;2013年

6 陈广东;流媒体服务器集群负载均衡算法研究[D];华中师范大学;2006年

7 李子民;基于LVS的集群动态负载均衡算法研究[D];电子科技大学;2009年

8 张小倩;高速负载均衡算法的FPGA实现[D];电子科技大学;2010年

9 马卫;一种改进的LVS集群负载均衡算法[D];华中师范大学;2006年

10 丁逸;基于层次策略的动态负载均衡算法研究[D];东南大学;2005年

，

本文编号：1557506