基于Kademlia的负载平衡云存储算法

发布时间：2018-05-28 00:01

  本文选题：云存储 + 负载平衡　； 参考：《计算机应用》2015年03期

【摘要】：针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题,基于分布式哈希表(DHT)技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题,是此类技术获得推广的关键。研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明,改进后算法的负载平衡性能有非常明显的提高,在系统模拟运行时间足够长(如1500 h以上)时,过载节点平均下降7.0%(轻载)和33.7%(重载);文件保存成功率平均提高27.2%(轻载)和35.1%(重载),而增加的通信开销可接受。
[Abstract]:Aiming at the possible performance bottlenecks and scalability problems in mainstream cloud storage systems with master-slave architecture, a fully distributed cloud storage system based on distributed hash table (DHT) technology has become a new choice. It is the key to popularize this kind of technology to solve the load balance problem of nodes. The load balancing performance of Kademlia algorithm applied to cloud storage system is studied. Considering that the load balancing performance of the algorithm in heterogeneous environment is significantly reduced, the improved algorithm distributes the load according to the storage capacity of the node in the candidate storage node identified by Kademlia. The simulation results show that the load balancing performance of the improved algorithm is obviously improved, and when the system simulation time is long enough (such as more than 1500 hours), The average drop of overload node is 7.0 (light load) and 33.7g (heavy load); the success rate of file preservation is increased by 27.2g (light load) and 35.1g (heavy load) on average, while the increase in communication overhead is acceptable.
【作者单位】： 华东师范大学信息科学技术学院;
【基金】：国家863计划项目(2013AA01A211)
【分类号】：TP333

【参考文献】

相关期刊论文 前5条

1 吴吉义;傅建庆;平玲娣;谢琪;;一种对等结构的云存储系统研究[J];电子学报;2011年05期

2 刘琨;钮文良;;一种改进的Hadoop数据负载均衡算法[J];河南理工大学学报(自然科学版);2013年03期

3 黄秋兰;程耀东;陈刚;;分布式存储系统的哈希算法研究[J];计算机工程与应用;2014年01期

4 尹向东;杨杰;屈长青;;云计算环境下分布式文件系统的负载平衡研究[J];计算机科学;2014年03期

5 张聪萍;尹建伟;;分布式文件系统的动态负载均衡算法[J];小型微型计算机系统;2011年07期

【共引文献】

相关期刊论文 前10条

1 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

2 俞能海;郝卓;徐甲甲;张卫明;张驰;;云安全研究进展综述[J];电子学报;2013年02期

3 孙勇;林菲;王宝军;;面向云计算的键值型分布式存储系统研究[J];电子学报;2013年07期

4 罗文;张国兵;;基于云平台的多媒体教学系统研究与设计[J];电视技术;2013年22期

5 王宁;杨扬;孟坤;陈宇;王磊;季青;;云计算环境下基于用户体验的成本最优存储策略研究[J];电子学报;2014年01期

6 张瑞;林闯;孟坤;陈亚睿;;一种高可靠性的内容云的存储机制[J];电子学报;2014年04期

7 谢显中;黄倩;王柳苏;马彬;;一种云存储中基于干扰对齐的多节点精确修复方法[J];电子学报;2014年10期

8 陈豪;陶冶;张尼;张云勇;;云计算计费问题研究[J];电信科学;2014年11期

9 李东升,卢锡城;P2P网络中常量度数常量拥塞的DHT方法研究[J];中国科学E辑:信息科学;2004年12期

10 ;A novel constant degree and constant congestion DHT scheme for peer-to-peer networks[J];Science in China(Series F:Information Sciences);2005年04期

相关会议论文 前1条

1 冯小梅;刘怡君;;云存储技术的现状分析与发展趋势[A];广西计算机学会2014年学术年会论文集[C];2014年

相关博士学位论文 前10条

1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年

2 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年

3 董飚;Internet发布/订阅技术研究[D];南京理工大学;2011年

4 刘志明;对等存储系统数据管理研究[D];国防科学技术大学;2011年

5 刘勇;大规模对等资源共享关键技术研究[D];电子科技大学;2010年

6 杜丽娟;基于Overlay Network的移动网络及其关键技术研究[D];中国矿业大学(北京);2012年

7 郭羽成;MPI高性能云计算平台关键技术研究[D];武汉理工大学;2013年

8 杨磊;基于P2P结构的广域分布式存储相关技术研究[D];湖南大学;2013年

9 何亨;对等云存储服务系统的安全控制机制研究[D];华中科技大学;2013年

10 罗立群;绿色桌面云的关键技术研究[D];南京大学;2012年

相关硕士学位论文 前10条

1 向泰;基于广度优先最小生成树及《知网》词汇语义相似度的启发式P2P搜索技术研究与实现[D];云南师范大学;2006年

2 王强;数字有机体资源放置决策系统的设计与实现[D];电子科技大学;2007年

3 何明伦;基于数字有机体的资源调度系统[D];电子科技大学;2007年

4 沈琦;基于Chord的高性能文件存储技术的研究与设计[D];浙江大学;2007年

5 梁妍;数字有机体系统中透明下载服务源定位及安全机制的研究与实现[D];电子科技大学;2008年

6 程伟;寄生存储系统设计与性能分析[D];华中科技大学;2008年

7 康福勇;环保私有云平台设计及其SaaS模式总量减排业务系统实现[D];电子科技大学;2013年

8 杨灿;基于HDFS的华图在线文库系统数据存储与管理研究[D];中南大学;2013年

9 李颖;基于分布式文件系统的农业数据云存储研究[D];山东农业大学;2013年

10 艾云霄;云环境下数据副本选择策略研究[D];内蒙古科技大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 吴吉义;平玲娣;潘雪增;李卓;;云计算:从概念到平台[J];电信科学;2009年12期

2 张薇;马建峰;王良民;郭渊博;;门限Byzantine quorum系统及其在分布式存储中的应用[J];电子学报;2008年02期

3 杨_g剑;林波;;分布式存储系统中一致性哈希算法的研究[J];电脑知识与技术;2011年22期

4 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

5 谷国太;肖汉;;并行计算与并行处理技术的应用研究[J];河南理工大学学报(自然科学版);2009年05期

6 王小云，张全清;MD_5报文摘要算法的各圈函数碰撞分析[J];计算机工程与科学;1996年02期

7 李勇军;代亚非;;对等网络信任机制研究[J];计算机学报;2010年03期

8 周敬利;周正达;;改进的云存储系统数据分布策略[J];计算机应用;2012年02期

9 董继光;陈卫卫;田浪军;吴海佳;;大规模云存储系统副本布局研究[J];计算机应用;2012年03期

10 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

【相似文献】

相关期刊论文 前10条

1 秦荪涛;金融网络负载平衡实现方案[J];中国金融电脑;2002年06期

2 李庆华,尹社红;一种基于预测的负载平衡策略[J];华中科技大学学报(自然科学版);2002年09期

3 李庆华,尹社红;一种基于预测的负载平衡策略[J];计算机与数字工程;2003年04期

4 蒋理;Windows Server 2003网络负载平衡解决方案[J];网络安全技术与应用;2004年05期

5 王郁武;;商场分布式系统负载平衡技术的研究[J];商场现代化;2006年34期

6 郑绪岫;负载平衡——提高分布式计算机系统效率的一种方法[J];计算机工程与应用;1984年02期

7 孙凝晖;李国杰;;采用有效切分的负载平衡[J];计算机研究与发展;1992年12期

8 王于同,张立宇,毕伟文;高效负载平衡的并行连接运算算法研究[J];杭州电子工业学院学报;1999年04期

9 张辉,田金兰,郑纬民;多级负载平衡系统的设计和实现[J];南京理工大学学报(自然科学版);2002年05期

10 杨圣云,赖国明,周检检;CORBA环境负载平衡的实现[J];韩山师范学院学报;2004年03期

相关会议论文 前4条

1 刘滨;石峰;;基三分层互连网络中负载平衡的研究与仿真[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年

2 张敏;;构建大规模WebGIS网站的探究——针对WebGIS的理正IMS负载平衡技术[A];中国地理信息系统协会第八届年会论文集[C];2004年

3 佟志新;杨树强;贾焰;;基于CORBA的负载平衡服务研究与实现[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

4 蒋进曦;刘惠;韩伟红;贾焰;;数据库服务器级容错和负载平衡服务的研究[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

相关重要报纸文章 前5条

1 候云峰 袁波;负载平衡的网络转发技术[N];中国电脑教育报;2004年

2 丁文彬;网络负载平衡在远程教育平台上的实现[N];中国计算机报;2007年

3 ;iTCM产品必备八大性能[N];计算机世界;2001年

4 ;实现全面负载均衡[N];网络世界;2002年

5 ;用互联网技术突破网站瓶颈[N];中国计算机报;2001年

相关博士学位论文 前2条

1 王俊;分布异构环境下基于中间件的负载平衡技术研究[D];国防科学技术大学;2007年

2 杨帆;基于负载平衡的新一代核心网络技术研究[D];北京邮电大学;2010年

相关硕士学位论文 前10条

1 刘松;基于负载平衡的企业分布式系统分析与设计[D];武汉理工大学;2009年

2 姚婧;云计算环境下的负载平衡机制研究[D];陕西师范大学;2012年

3 邓玉华;分布式系统中网络负载平衡的研究与应用[D];西南交通大学;2002年

4 杨夏妮;基于Petri网的负载平衡双层调度模型的研究[D];广西大学;2008年

5 曹瑛;无线网格网中负载平衡的探索和研究[D];兰州大学;2009年

6 贾俊;嵌入式系统中网络负载平衡群集的研究与应用[D];湖南大学;2010年

7 王俊岭;基于主动复制的负载平衡模型研究与实现[D];东南大学;2005年

8 李海峰;基于抽样估计的MapReduce负载平衡研究[D];大连海事大学;2014年

9 蒋淳;基于Agent的集群系统负载平衡技术研究与应用[D];南京航空航天大学;2005年

10 刘华芳;安全服务器中Web集群负载平衡的研究与实现[D];福州大学;2003年

，

本文编号：1944347