基于Zookeeper的分布式锁服务及性能优化

发布时间：2018-05-29 09:48

  本文选题：分布式系统 + 分布式锁　； 参考：《计算机研究与发展》2014年S1期

【摘要】：在分布式系统中,资源可能同时被多个客户端申请访问,协调控制客户端和服务器的操作,保证数据访问的正确性和性能是资源的一致性控制要考虑的问题.常用方法是采用定制开发实现其功能或利用现有平台如Hadoop Zookeeper加以实现.Zookeeper是Hadoop的正式子项目,用于提供高效和稳定的一致性服务接口,基于它可以实现分布式锁、配置维护等服务.基于Zookeeper的一致性服务设计实现了分布式锁服务;分析锁服务器端请求处理过程,明确了上锁操作的性能瓶颈在于Zookeeper磁盘IO操作,提出了替换存储介质的方法,Zookeeper上锁性能提高90%;为了进一步减少网络开销,提出分布式锁逻辑移植方法,上锁性能提高20%以上.
[Abstract]:In a distributed system, resources may be accessed by multiple clients at the same time, which can coordinate and control the operation of client and server, and ensure the correctness and performance of data access. The common approach is to use custom development to implement its functions or to use existing platforms such as Hadoop Zookeeper to implement. Zookeeper, a formal subproject of Hadoop, is used to provide efficient and stable uniform service interfaces based on which distributed locks can be implemented. Configuration maintenance and other services. The distributed lock service is designed and implemented based on Zookeeper, the request processing process of lock server is analyzed, and the performance bottleneck of lock operation is defined as Zookeeper disk IO operation. In order to further reduce the network overhead, a distributed locking logic migration method is proposed, in which the locking performance is improved by more than 20%.
【作者单位】： 武汉光电国家实验室(华中科技大学);华中科技大学计算机科学与技术学院;
【基金】：国家“八六三”高技术研究发展计划基金项目(2013AA013203) 华中科技大学自主创新研究基金项目(HUST:2014QN010)
【分类号】：TP368.5

【参考文献】

相关期刊论文 前1条

1 黄华;张建刚;许鲁;;蓝鲸分布式文件系统的客户端元数据缓存模型[J];计算机科学;2005年09期

【共引文献】

相关期刊论文 前10条

1 林琳;;基于C语言的存储资源管理系统的研究[J];才智;2011年13期

2 胡峰;张杰;刘静;肖大伟;;一种基于Rough集的海量数据属性约简方法[J];重庆邮电大学学报(自然科学版);2009年04期

3 刘霖;赵跃龙;李成艺;;一种新的存储解决方案——IND系统存储[J];电脑与信息技术;2006年05期

4 王丹玲;;虚拟化存储及其实现[J];电脑知识与技术;2006年05期

5 刘绍凯;;存储区域网(SAN)系统的管理及其实现研究[J];电脑知识与技术;2006年26期

6 蒋春曦;谢庆胜;王伟;;省级行业信息服务系统的设计与实现[J];电脑知识与技术;2008年17期

7 王宇;;网络存储面面观[J];电声技术;2008年05期

8 夏国远;;数据存储技术的应用分析[J];大众科技;2011年09期

9 黄晓武;;基于ISCSI的校园网络存储安全研究[J];福建电脑;2006年03期

10 王春建;;电视非编网素材的实时备份[J];广播电视信息;2011年11期

相关会议论文 前2条

1 刘景宁;王晓静;童薇;时洋;冯丹;;对象存储器中光纤通道驱动程序设计与优化[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 王雪娇;钱军;温东新;张展;崔忠强;;基于Linux虚拟文件系统故障注入器的设计与实现[A];第六届中国测试学术会议论文集[C];2010年

相关博士学位论文 前10条

1 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年

2 牛中盈;并行文件系统安全性研究[D];华中科技大学;2010年

3 林胜;存储系统容错及阵列编码[D];南开大学;2010年

4 陈俊健;面向对象存储系统安全技术研究[D];华中科技大学;2011年

5 彭涛;基于特征和实例的海量数据约简方法研究[D];华中科技大学;2011年

6 姜明华;基于冗余智能存储通道的存储系统关键技术研究[D];华中科技大学;2011年

7 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年

8 吴涛;虚拟化存储技术研究[D];华中科技大学;2004年

9 王烁;数字视频播放系统的研究[D];华中科技大学;2004年

10 邓玉辉;基于网络磁盘阵列的海量信息存储系统[D];华中科技大学;2004年

相关硕士学位论文 前10条

1 段莉娟;网络中间件数据采集系统的研究与实现[D];电子科技大学;2010年

2 胡永奎;对象存储设备中文件系统的设计与实现[D];解放军信息工程大学;2010年

3 王莉莉;基于DELTA压缩算法的大型数据库灾备关键技术研究[D];电子科技大学;2011年

4 柏宏斌;基于B/S架构的信息管理系统理论研究[D];电子科技大学;2010年

5 彭亮亮;基于IPv6的校园网络存储再生性的研究[D];西安电子科技大学;2010年

6 鲁昌龙;固态硬盘存储系统模型及存储管理层算法的研究[D];景德镇陶瓷学院;2011年

7 徐忠明;基于Hadoop的网络验证平台的研究[D];广东工业大学;2011年

8 蔡洪;智能网络存储系统（INSS）中负载均衡技术的研究[D];华南理工大学;2011年

9 王承才;小学校园Web网络硬盘应用系统的研究及实现[D];华南理工大学;2011年

10 罗浩;基于P2P的分布式存储研究与实现[D];电子科技大学;2011年

【相似文献】

相关期刊论文 前10条

1 谢晓兰,韩可轶,王林;提高Java程序性能的若干方法[J];计算机与现代化;2005年08期

2 郑小蓉;;高职学院学生信息管理系统性能优化问题分析[J];中国新技术新产品;2009年22期

3 王晓东;;浅谈计算机性能优化技术中的问题及对策[J];计算机光盘软件与应用;2014年03期

4 王玉兰;“九七”计算机系统的性能优化[J];电信技术;2002年02期

5 马晶;;信息系统中数据库的性能优化[J];科技信息;2010年14期

6 张淑坤;;工艺流程改进在告警采集系统性能优化中的应用[J];计算机光盘软件与应用;2013年02期

7 刘军,杨卫春;九七系统性能优化技术(二)[J];江西通信科技;2001年04期

8 陈苏蓉;朱晓辉;;SQL Server 2008性能优化研究[J];电脑知识与技术;2009年34期

9 靳春霞;;计算机系统性能优化研究[J];河南科技;2010年15期

10 徐跃伟;;网上购物系统的实现及性能优化[J];计算机时代;2012年01期

相关会议论文 前10条

1 姚杰;;宝钢不锈钢系统数据库性能优化方案[A];中国计量协会冶金分会2007年会论文集[C];2007年

2 代桂平;殷保群;奚宏生;周亚平;;受控M／G／1排队系统的性能优化[A];第二十二届中国控制会议论文集（下）[C];2003年

3 李彦;王屹;徐继明;;ERP系统的性能优化[A];全国炼钢连铸过程自动化技术交流会论文集[C];2006年

4 赵海波;杨昭;方筝;徐振军;;燃气压缩式热泵系统全年季节性能优化[A];中国制冷学会2007学术年会论文集[C];2007年

5 高明星;;DB2数据库应用性能优化问题浅谈[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年

6 奚宏生;唐昊;殷保群;周亚平;;Markov控制过程在紧致行动集上的性能优化[A];第二十一届中国控制会议论文集[C];2002年

7 高明星;;DB2数据库应用性能优化问题浅谈[A];铁道部信息技术中心成立30周年暨铁路运输管理信息系统（TMIS）工程全面竣工投产TMIS工程建设论文专辑（二）[C];2005年

8 高明星;;DB2数据库应用性能优化问题浅谈[A];中国铁道学会——2004年度学术活动优秀论文评奖论文集[C];2005年

9 杜劲松;李强;包劲松;;国产600MW机组循环效率试验及性能优化分析[A];2008中国可持续发展论坛论文集（3）[C];2008年

10 杜劲松;李强;包劲松;;国产600MW机组循环效率试验及性能优化分析[A];全国火电大机组（600MW级）竞赛第十二届年会论文集（上册）[C];2008年

相关重要报纸文章 前5条

1 陈翔;性能优化只能救火[N];中国计算机报;2007年

2 本报记者 郭平;EMC简单高效实现私有云[N];计算机世界;2010年

3 ;安图特引入新型数据加速解决方案[N];人民邮电;2008年

4 陈洪康 郭宝群 李雪梅;浅谈VLDB性能优化与维护[N];人民邮电;2001年

5 驱动之家;加点“催化剂”引爆你的“镭”[N];中国计算机报;2002年

相关博士学位论文 前6条

1 陈伟锋;大规模复杂过程系统的高性能优化理论与方法研究[D];浙江大学;2011年

2 李磊;分布式系统中容错机制性能优化技术研究[D];国防科学技术大学;2007年

3 贾海鹏;面向GPU计算平台的若干并行优化关键技术研究[D];中国海洋大学;2012年

4 魏丫丫;Web传输的性能优化[D];清华大学;2006年

5 何倩;P2P系统性能优化若干关键技术研究[D];北京邮电大学;2010年

6 毛宏燕;基于部分计值的服务性能优化研究[D];上海交通大学;2006年

相关硕士学位论文 前10条

1 唐沙;工程信息管理系统的性能优化研究[D];西南交通大学;2007年

2 曹珂;教育管理软件互操作应用系统及其性能优化[D];浙江大学;2005年

3 刘，

本文编号：1950424