一种新型分布式元数据管理策略
本文关键词： 元数据 HDFS Hash 目录树 负载均衡 出处：《计算机系统应用》2016年09期 论文类型：期刊论文
【摘要】：高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键.传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题.上述问题在高并发、低延迟的数据存储需求中尤为突出.提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统:利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略.多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.
[Abstract]:Efficient and scalable metadata management system is the key to improve the overall performance of distributed storage system. The traditional metadata allocation strategy will lead to the imbalance of metadata load and the preemption of multi-process resources. There will be some problems such as inefficient response to user requests, limited number of files stored, etc. These problems are especially prominent in high concurrency and low latency data storage requirements. A metadata management strategy based on consistent Hash and directory tree is proposed. The corresponding distributed metadata management system is implemented: the load balancing algorithm is used to migrate the metadata, which ensures the balancing strategy of the coarse granularity load information collection and fine-grained adjustment. The results of many experiments show that, This strategy can achieve metadata load balancing, reduce user request processing latency, and improve the scalability and availability of distributed systems.
【作者单位】： 中国科学院软件研究所基础软件国家工程研究中心;中国科学院大学;
【分类号】：TP333
【参考文献】
相关期刊论文 前1条
1 黄秋兰;程耀东;杜然;陈刚;;可扩展的分布式元数据管理系统设计[J];计算机工程;2015年05期
【共引文献】
相关期刊论文 前2条
1 王丽淑;张鸿骏;芮建武;杨骁;;一种新型分布式元数据管理策略[J];计算机系统应用;2016年09期
2 邵志骅;崔林山;卢梦奇;;基于Hadoop集群的公安交通信息云共享技术应用研究[J];中国公共安全(学术版);2016年01期
【二级参考文献】
相关期刊论文 前3条
1 汪璐;程耀东;陈刚;;海量存储系统元数据服务器的设计及性能优化[J];计算机工程;2012年02期
2 黄秋兰;朱随江;程耀东;陈刚;;GRASS文件预留系统的设计与实现[J];核电子学与探测技术;2011年09期
3 张小林;;基于ssh和rsync的邮件系统自动备份实现[J];黄石理工学院学报;2009年02期
【相似文献】
相关期刊论文 前10条
1 李琳;郭易;盖优普;武炜;朱吉生;;水利元数据管理系统的设计和实现[J];水利技术监督;2012年06期
2 ;构建企业级元数据管理体系[J];金融电子化;2013年05期
3 曹蓟光,王申康;元数据管理策略的比较研究[J];计算机应用;2001年02期
4 高睿,刘修国;空间元数据管理与发布技术研究[J];计算机应用研究;2005年09期
5 向浩翔;宁洪;;元数据管理解决方案中查询检索部件的设计与实现[J];计算机应用;2006年11期
6 刘仲;周兴铭;;基于目录路径的元数据管理方法[J];软件学报;2007年02期
7 聂茹;李政伟;;基于本体和语义网格的空间元数据管理研究[J];计算机工程与设计;2007年08期
8 施银盾;吴佳明;;PowerDesigner 15.0 Repository——元数据管理工具的新特性[J];铁路计算机应用;2009年04期
9 黄如花;刘贵玉;;开放存取资源元数据管理的对策[J];情报理论与实践;2009年10期
10 王斌;潘新华;谭珂;;企业级元数据管理在医疗信息化中的应用[J];价值工程;2012年13期
相关会议论文 前10条
1 张继红;陈小全;;海量交通安全数据的元数据管理研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年
2 郧文聚;王志刚;彭茹燕;周勇;戴维彬;谭斌;郭畅;;农用地分等定级估价元数据管理系统的设计与实现[A];节约集约用地 促进可持续发展[C];2005年
3 徐财江;陈和平;陈志荣;;土地利用现状数据元数据管理系统的设计与实现[A];2006年中国土地学会学术年会论文集[C];2006年
4 吴杰;谢昆青;蔡颖琨;;空间数据库中的元数据管理[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年
5 李天印;;元数据管理在烟草商业数据中心建设中的应用浅析[A];河南省烟草学会2008年学术交流获奖论文集（上）[C];2008年
6 刘莉;张定祥;黄思红;耿冲;;基于元数据管理的土地数据资料库服务系统建设[A];2006年中国土地学会学术年会论文集[C];2006年
7 杨正道;阎保平;;科学数据库中元数据技术及应用研究[A];全国计算机网络应用年会论文集（2001）[C];2001年
8 雷琦;宁洪;李姗姗;汪昌健;;基于CWM的元数据管理系统的研究[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年
9 齐畅;邢春晓;郭杭;周立柱;;基于Topic Maps的元数据管理系统[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年
10 李顺;魏斌;王桥;;适合我国环境数据的元数据管理系统的设计与开发[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
相关重要报纸文章 前9条
1 赵旭;元数据管理的五种成熟度[N];计算机世界;2006年
2 刘庆;高屋建瓴,而非空中楼阁[N];网络世界;2006年
3 本报记者 张承东;抓住精髓[N];网络世界;2006年
4 ;元数据管理—控制BI之源[N];网络世界;2006年
5 ;元数据管理：构建BI第一步[N];人民邮电;2006年
6 特约记者 赵琳;我国元数据管理系统被CCOP采纳[N];中国矿业报;2011年
7 ;保证高伸缩性的对象存储[N];网络世界;2003年
8 ;Gartner呼吁重视十大IT技术[N];网络世界;2007年
9 徐洪禹;ITSM落户中国铁路[N];中国计算机报;2004年
相关博士学位论文 前1条
1 李冰;云计算环境下动态资源管理关键技术研究[D];北京邮电大学;2012年
相关硕士学位论文 前10条
1 魏光辉;分布式系统上的元数据管理系统g？榈氖迪諿D];复旦大学;2013年
2 葛晖;面向交通物流大数据处理的元数据管理系统[D];上海交通大学;2015年
3 赵稳;云存储中元数据管理关键技术的研究与实现[D];电子科技大学;2014年
4 于千城;商务智能系统中元数据管理和应用研究[D];北方民族大学;2008年
5 邵强;对象存储文件系统中元数据管理集群关键技术研究与实现[D];国防科学技术大学;2005年
6 李瑞;基于语义分析的元数据管理工具的设计与实现[D];华中科技大学;2012年
7 程东方;海量数据分析平台元数据管理的设计与实现[D];北京邮电大学;2015年
8 朱双涛;网格数据库中元数据管理机制的研究[D];华中科技大学;2007年
9 应英;电子政务元数据管理系统的研究与设计[D];西北工业大学;2007年
10 张燕;虚拟筛选元数据管理系统的研究[D];兰州大学;2013年
，本文编号：1550092
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/1550092.html
