基于存储熵的存储负载均衡算法

发布时间：2018-09-17 20:45

【摘要】：在分布式存储系统中,一般都是以磁盘空间利用率(DU)来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵(SE)的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。
[Abstract]:In distributed storage system, disk space utilization (DU) is generally used to judge the load balance degree of each storage node. When the disk space utilization ratio of all nodes is equal, it is the storage load balancing point of the whole distributed storage system. However, in the practical application scenario, the storage nodes with low I / O rate and low reliability often become the bottleneck that affects the performance of data reading and writing of the whole storage system, so in heterogeneous distributed storage system, the storage nodes with low I / O rate and low reliability often become the bottleneck of the data reading and writing performance of the whole storage system. Especially in distributed storage systems where the disk I / O rate and reliability of storage nodes vary greatly the efficiency of data reading and writing is bound to be limited if the disk space utilization is only taken as the criterion of storage load balancing. From the point of view of reading and writing efficiency, a new idea to measure storage load balance in distributed storage system is proposed. According to the load balancing theory and entropy theory, the definition of storage entropy (SE) is given, and a load balancing algorithm based on storage entropy is proposed. Single node load decision and load migration realize the quantitative adjustment of storage load in distributed storage system, and compared with the load balancing algorithm based on disk space utilization through experiments. It is verified that the algorithm has a good balance for storage load in distributed storage system, effectively controls the problem of system load imbalance, and improves the overall reading and writing efficiency of distributed storage system.
【作者单位】： 中国科学院成都计算机应用研究所;中国科学院大学;
【基金】：四川省科技支撑计划项目(2014GZ0013)~~
【分类号】：TP333

【参考文献】

相关期刊论文 前10条

1 文莎;;分布式文件系统综述[J];软件导刊;2015年11期

2 耿志强;姬威;韩永明;曹健;;基于维度最大熵数据流聚类的异常检测方法[J];控制与决策;2016年02期

3 黄昌勤;李源;吴洪艳;汤庸;罗旋;;云存储系统中数据副本服务的可靠性保障研究[J];通信学报;2014年10期

4 罗鹏;龚勋;;HDFS数据存放策略的研究与改进[J];计算机工程与设计;2014年04期

5 陈吉荣;乐嘉锦;;基于Hadoop生态系统的大数据解决方案综述[J];计算机工程与科学;2013年10期

6 左利云;曹志波;董守斌;;云计算虚拟资源的熵优化和动态加权评估模型[J];软件学报;2013年08期

7 刘琨;钮文良;;一种改进的Hadoop数据负载均衡算法[J];河南理工大学学报(自然科学版);2013年03期

8 马纪明;万蔚;曾声奎;;基于浴盆曲线故障率函数的FFOP预计方法[J];航空学报;2012年09期

9 董继光;陈卫卫;吴海佳;田浪军;;基于动态副本技术的云存储负载均衡研究[J];计算机应用研究;2012年09期

10 刘琨;肖琳;赵海燕;;Hadoop中云数据负载均衡算法的研究及优化[J];微电子学与计算机;2012年09期

【共引文献】

相关期刊论文 前10条

1 周渭博;钟勇;李振东;;基于存储熵的存储负载均衡算法[J];计算机应用;2017年08期

2 杨连群;宋津旭;李翔宇;;网络日志和流量关联分析的必要性[J];电子技术与软件工程;2017年14期

3 王瑞娜;;基于自适应拍卖和迁移机制的云计算资源调度算法[J];西南师范大学学报(自然科学版);2017年07期

4 农惜玲;孟军;伍宁芳;黄小益;甘宇健;;基于大数据分析的数码产品价格预测网站设计[J];电脑知识与技术;2017年17期

5 李棕;崔得龙;;基于高斯过程回归和强化学习的云资源调度算法[J];电子设计工程;2017年11期

6 张彬;李卫平;王晋;;基于业务统一部署与管理的资源调度算法[J];吉林大学学报(理学版);2017年03期

7 叶春蕾;;基于Hadoop的高校图书馆大数据关键技术研究[J];数字图书馆论坛;2017年05期

8 张志强;;基于数据挖掘的网络用户兴趣分类研究[J];电子设计工程;2017年10期

9 李丰;;大数据技术在高校学生助学金评比中的应用[J];计算机教育;2017年05期

10 钟凡;;基于熵值耦合算法的企业战略项目管理研究[J];电子设计工程;2017年09期

【二级参考文献】

相关期刊论文 前10条

1 张春明;芮建武;何婷婷;;一种Hadoop小文件存储和读取的方法[J];计算机应用与软件;2012年11期

2 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

3 刘琨;肖琳;赵海燕;;Hadoop中云数据负载均衡算法的研究及优化[J];微电子学与计算机;2012年09期

4 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

5 周敬利;周正达;;改进的云存储系统数据分布策略[J];计算机应用;2012年02期

6 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

7 开华东;田琪;;基于MapReduce集群的加权公平队列调度算法研究[J];电脑知识与技术;2011年09期

8 孙蛟;虞健飞;;飞机MFOP概念与应用研究[J];航空维修与工程;2010年02期

9 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期

10 谷国太;肖汉;;并行计算与并行处理技术的应用研究[J];河南理工大学学报(自然科学版);2009年05期

【相似文献】

相关期刊论文 前10条

1 ;廉价、高效、稳定 微软新一代分布式存储系统[J];新电脑;2006年06期

2 何公明;张元涛;;面向数字媒体的高性能分布式存储系统的研究与应用[J];广播电视信息;2009年10期

3 范剑波,郭建康;分布式存储系统性能模型的建立与应用[J];计算机工程与应用;2001年13期

4 范剑波,徐利浩;分布式存储系统可靠性的研究[J];计算机工程;2001年06期

5 吴英;谢广军;刘t，

本文编号：2247041