面向海量空间数据存储的元数据管理机制

发布时间：2018-11-19 07:21

【摘要】：为了有效管理海量空间数据存储的元数据,引入了一种基于一致性哈希的分布式元数据服务器管理架构,并在此基础上提出了一种元数据轮式备份策略,将经过一致性哈希算法散列后存储元数据的节点按轮转方式进行数据备份,有效缓解了元数据管理的单点问题与访问瓶颈。最后对轮式备份策略进行测试,得出最佳元数据节点个数备份方案,与单点元数据服务器相比提高了元数据的安全性,降低了访问延迟,并结合虚拟节点改善了分布式元数据服务器的负载均衡。
[Abstract]:In order to effectively manage the metadata stored in massive spatial data, a distributed metadata server management architecture based on consistency hash is introduced, and a metadata wheeled backup strategy is proposed. The nodes that store metadata after hashing by the consistent hash algorithm are backed up in rotation mode, which effectively alleviates the single point problem and access bottleneck of metadata management. Finally, by testing the wheeled backup strategy, the best backup scheme of metadata nodes is obtained. Compared with the single point metadata server, the security of metadata is improved and the access delay is reduced. Combined with virtual nodes, load balancing of distributed metadata server is improved.
【作者单位】： 地球探测与信息技术教育部重点实验室(成都理工大学);地质灾害防治与地质环境保护国家重点实验室(成都理工大学);模式识别与智能信息处理四川省高校重点实验室(成都大学);
【基金】：国家自然科学基金资助项目(61071121) 成都市经信委科技专项(201102153)
【分类号】：TP333

【参考文献】

相关期刊论文 前5条

1 蒙安泰;;分布式文件系统中元数据管理机制的研究[J];电脑知识与技术;2011年35期

2 姚墨涵;谢红薇;;一致性哈希算法在分布式系统中的应用[J];电脑开发与应用;2012年07期

3 费贤举;王树锋;;基于云环境下的海量大数据存储系统设计[J];计算机测量与控制;2014年07期

4 程付超;苗放;陈垦;;自适应的分布式文件系统元数据管理模型[J];计算机工程与设计;2014年03期

5 谢培基;余金山;;基于CWM的元数据管理策略[J];微型机与应用;2011年23期

【共引文献】

相关期刊论文 前2条

1 巴子言;吴军;马严;;基于虚节点的一致性哈希算法的优化[J];软件;2014年12期

2 陈臣;;一种基于新型存储的数字图书馆分布式大数据存储架构[J];现代情报;2015年01期

相关博士学位论文 前1条

1 程付超;面向海量遥感数据的分布式混合计算技术研究[D];成都理工大学;2014年

相关硕士学位论文 前9条

1 王晓琳;基于公共仓库元模型的XBRL数据存储应用研究[D];大连理工大学;2013年

2 刘晓东;并行文件系统缓存技术的研究[D];北京交通大学;2013年

3 吴舰;基于云存储的数据流处理技术的研究[D];武汉理工大学;2013年

4 刘文涛;缝制设备监管系统中网络拓扑管理的设计与实现[D];西安电子科技大学;2013年

5 易理林;HDFS文件系统中元数据的高可用性管理方法研究[D];华南理工大学;2013年

6 张晓凤;复杂产品项目中管理要素元数据的提取与管理研究[D];江苏科技大学;2013年

7 钱旭;油气地质资料著录和元数据信息管理系统设计与实现[D];中国地质大学（北京）;2014年

8 王磊;基于SOA的网络联盟营销系统设计与实现[D];复旦大学;2012年

9 周国钢;基于Web的无线Led信息发布系统的实现与升级[D];北京邮电大学;2014年

【二级参考文献】

相关期刊论文 前10条

1 马思红;;浅谈面向对象数据库的技术和发展[J];安徽农业科学;2007年24期

2 刘祖云;胡进德;;分布式共享存储研究[J];成都大学学报(自然科学版);2008年01期

3 冯幼乐;朱六璋;;CEPH动态元数据管理方法分析与改进[J];电子技术;2010年09期

4 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

5 吴英;刘t，

本文编号：2341533