HDFS数据副本均衡放置策略的改进

发布时间：2018-09-08 13:13

【摘要】：HDFS默认的数据副本放置策略仅仅只根据磁盘空间使用单个指标进行负载衡量,无法实现各节点真正的负载均衡。提出了一种基于性能的副本负载均衡放置改进策略,从磁盘空间负载能力、CPU处理能力、内存处理能力、磁盘读写处理能力、带宽等5个方面考究节点实际工作负载,并定义了一个负载能力模型。实验结果表明,该改进策略比默认策略能更好地实现副本的均衡放置。
[Abstract]:The default data copy placement strategy of HDFS is only based on the disk space using a single index to measure the load, which can not realize the real load balancing of each node. In this paper, a performance-based replica load balancing improvement strategy is proposed, which investigates the actual workload of the node from five aspects: disk space load capacity, CPU processing capacity, memory processing ability, disk read-write processing ability, bandwidth, etc. A load capacity model is defined. Experimental results show that the improved strategy is more effective than the default strategy in balancing replica placement.
【作者单位】： 广州大学华软软件学院软件工程系;
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 魏善沛,李涛;打印口负载能力研究[J];湖南经济管理干部学院学报;2003年03期

2 张越;文长;;负载能力强——宝德Powtel 2350R服务器评测[J];每周电脑报;2003年29期

3 林菲;张万军;孙勇;;一种分布式非结构化数据副本管理模型[J];计算机工程;2013年04期

4 ;采购热线[J];中国计算机用户;2001年45期

5 王文亮;;W77E58软件SPI串口对MAX3100负载能力的论证[J];海军航空工程学院学报;2006年01期

6 祝家钰;肖丹;;云计算架构下的动态副本管理策略[J];计算机工程与设计;2012年09期

7 徐俊;王庆华;赵云龙;;基于改进HDFS的冠字号小文件分布式存储研究[J];电脑知识与技术;2014年17期

8 何典;吴敏;胡春华;;物联网环境下负载均衡的低代价云存储数据副本分布[J];中南大学学报(自然科学版);2012年04期

9 徐艺境;栾钟治;钱德沛;管刚;谢明;;HDFS集群中功率预测控制策略的设计与分析[J];计算机科学与探索;2013年05期

10 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

相关硕士学位论文 前10条

1 陶永臻;医疗健康物联网环境下云存储数据副本管理机制的设计与仿真实现[D];东北大学;2013年

2 王彩亮;云存储环境下数据副本管理策略研究[D];云南大学;2011年

3 霍振奇;基于HDFS的创新知识存储及分发架构的研究与设计[D];河北工业大学;2015年

4 黄健;基于HDFS安全云存储模型的研究[D];广东工业大学;2016年

5 魏南琛;面向光盘库的HDFS文件系统应用研究与实现[D];华中科技大学;2014年

6 张荣;基于HDFS的海量小文件处理性能的研究与优化[D];电子科技大学;2016年

7 艾云霄;云环境下数据副本选择策略研究[D];内蒙古科技大学;2013年

8 李梦楠;基于HDFS的名字节点的性能优化技术研究[D];沈阳工业大学;2015年

9 于超佳;HDFS数据副本随需调整及其放置策略研究[D];兰州理工大学;2013年

10 杨昊溟;云存储系统的数据副本放置算法研究[D];电子科技大学;2013年

，

本文编号：2230623