基于CMM模型的HDFS负载均衡策略

发布时间：2018-04-27 20:30

  本文选题：分布式文件系统 + 负载均衡　； 参考：《北京邮电大学学报》2014年05期

【摘要】：为实现Hadoop分布式文件系统的负载均衡,并保证较低的负载迁移代价和数据传输代价,提出了确定环境下多阶段多目标(CMM)决策模型.该模型以CPU、内存和磁盘剩余负载能力作为决策条件,以负载均衡效果、负载迁移代价和数据传输代价作为决策目标,依据决策节点间的影响关系构建有向无环图,通过多个决策阶段的决策,并计算方案效用确定最优均衡方案.仿真实验结果表明,基于CMM模型的负载均衡策略能取得较好的负载均衡效果、负载迁移代价和数据传输代价.
[Abstract]:In order to realize load balance of Hadoop distributed file system and ensure lower load migration cost and data transmission cost, a decision model of multi-stage and multi-objective Hadoop is proposed in this paper. In this model, CPU, memory and disk residual load capacity are taken as decision conditions, load balancing effect, load migration cost and data transmission cost are taken as decision targets, and the directed acyclic graph is constructed according to the influence relationship between decision nodes. The optimal equilibrium scheme is determined by the decision of multiple decision stages and the calculation of the utility of the scheme. The simulation results show that the load balancing strategy based on CMM model can achieve better load balancing effect, load transfer cost and data transmission cost.
【作者单位】： 北京邮电大学网络与交换技术国家重点实验室;华夏银行股份有限公司科技开发中心;
【基金】：国家科技重大专项项目(2012ZX03005010-003) 国家高技术研究发展计划项目(2014AA01A706)
【分类号】：TP333;O225

【参考文献】

相关期刊论文 前2条

1 姚婧;何聚厚;;基于模糊聚类分析的云计算负载平衡策略[J];计算机应用;2012年01期

2 刘琨;肖琳;赵海燕;;Hadoop中云数据负载均衡算法的研究及优化[J];微电子学与计算机;2012年09期

【共引文献】

相关期刊论文 前10条

1 郭华峰;范渊;;基于改进FCM算法的云计算负载均衡方法[J];福建电脑;2013年08期

2 诸葛斌;邓丽;戴国伟;王伟明;兰巨龙;;基于双边市场多归属结构的SDN资源管理机制[J];电信科学;2014年05期

3 尹晓萌;张海涛;王明哲;;企业云架构演进关键因素识别方法[J];系统工程;2014年07期

4 张爱科;符保龙;;基于最大收益平衡点动态变化的云资源调度算法[J];重庆邮电大学学报(自然科学版);2014年05期

5 张立东;贾磊;朱文兴;;基于模糊理论的交通溢流识别算法[J];计算机应用;2012年08期

6 周伟;;基于兴趣区域搜索的云设备资源优化调度方法[J];科技通报;2012年12期

7 朱泽民;张青;;基于多维QoS和云计算的资源负载均衡调度研究[J];计算机测量与控制;2013年01期

8 张玉超;彭甫阳;邓波;;服务质量驱动的云计算研究[J];计算机科学;2012年S3期

9 王朋;赵保华;;基于云计算的异构平台虚拟机动态迁移策略研究[J];江西科学;2013年02期

10 刘琨;钮文良;;一种改进的Hadoop数据负载均衡算法[J];河南理工大学学报(自然科学版);2013年03期

相关博士学位论文 前10条

1 张小庆;基于云计算环境的资源提供优化方法研究[D];武汉理工大学;2013年

2 黄沈权;制造云服务按需供应模式、关键技术及应用研究[D];浙江大学;2013年

3 乐冠;面向服务系统的自适应资源管理技术研究[D];北京邮电大学;2013年

4 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

5 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

6 敬思远;面向绿色虚拟数据中心资源管理的若干关键技术研究[D];电子科技大学;2013年

7 AHMED ELSAYED SALLAM;[D];湖南大学;2013年

8 夏纯中;云存储多数据中心QoS保障机制研究[D];江苏大学;2014年

9 董玉双;云平台中虚拟机部署的关键问题研究[D];吉林大学;2014年

10 樊沛;虚拟计算环境中面向通信特征的应用部署优化技术研究[D];国防科学技术大学;2012年

相关硕士学位论文 前10条

1 孙洪波;OSS/BSS云部署中的分布式计算特点的研究及应用[D];南京邮电大学;2013年

2 彭红;基于CloudStack云管理平台的关键技术研究与应用[D];华东理工大学;2013年

3 吴永发;面向终端应用的云存储系统研究与设计[D];广东工业大学;2013年

4 郭奇;基于HDFS的流媒体服务器Red5视频文件分发的研究与应用[D];北京邮电大学;2013年

5 李盼;HADOOP调度算法及其改进策略研究[D];北京邮电大学;2013年

6 刘培松;云计算环境下任务调度和资源分配策略的研究[D];华东师范大学;2013年

7 周飞凤;MapReduce在科学计算中的研究与改进[D];安徽大学;2013年

8 王兵;基于模糊聚类的不确定多属性决策方法研究[D];重庆师范大学;2013年

9 侯伟;云计算中基于遗传算法的能效管理研究[D];武汉理工大学;2013年

10 张飞飞;云环境中基于Map/Reduce的虚拟机调度策略研究[D];西安电子科技大学;2013年

【二级参考文献】

相关期刊论文 前6条

1 李冬梅;施海虎;;负载平衡调度问题的一般模型研究[J];计算机工程与应用;2007年08期

2 刘坤朋;罗可;;改进的模糊C均值聚类算法[J];计算机工程与应用;2009年21期

3 李建锋;彭舰;;云计算环境下基于改进遗传算法的任务调度算法[J];计算机应用;2011年01期

4 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期

5 刘振英,方滨兴,胡铭曾,张毅;一个有效的动态负载平衡方法[J];软件学报;2001年04期

6 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

相关硕士学位论文 前2条

1 易辉;基于模拟退火遗传算法的网络负载平衡算法研究[D];武汉理工大学;2006年

2 张少辉;基于BP算法的动态负载平衡预测[D];河南大学;2009年

，

本文编号：1812211