面向海量非结构化数据的非关系型存储管理机制

发布时间：2017-08-10 17:12

  本文关键词：面向海量非结构化数据的非关系型存储管理机制

  更多相关文章： 非结构化数据 海量数据存储 非关系型存储管理 一致性哈希 故障处理

【摘要】：针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。
【作者单位】： 华中科技大学服务计算技术与系统教育部重点实验室;中国地质大学(武汉)智能地学信息处理湖北省重点实验室;
【关键词】： 非结构化数据 海量数据存储 非关系型存储管理 一致性哈希 故障处理
【基金】：国家自然科学基金资助项目(61305087,61272470,61440060,61501412) 湖北省自然科学基金重点项目(2015CFA065) 中国博士后科学基金资助项目(2014M562086) 中央高校基本科研业务费专项资金资助项目(CUGL130233)~~
【分类号】：TP311.13;TP333
【正文快照】： 0引言随着计算机技术和网络技术的普及与发展,人们对图像、视频、网页、文档等非结构化数据的管理需求也日益增长。例如:搜索引擎行业巨头Google公司每天处理超过20 PB的网页数据[1];著名的社交网站Facebook存储了超过2 PB的图像、评论、用户状态信息等非结构化数据,并且数据，

本文编号：651904