基于范德蒙码的HDFS优化存储策略研究

发布时间：2017-10-07 20:18

  本文关键词：基于范德蒙码的HDFS优化存储策略研究

  更多相关文章： 大数据 HDFS 范德蒙码 分散式动态副本 优化存储

【摘要】：随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径.
【作者单位】： 辽宁大学信息科学与技术学院;
【关键词】： 大数据 HDFS 范德蒙码 分散式动态副本 优化存储
【基金】：国家自然科学基金(61472169,60873068) 辽宁省教育厅优秀人才支持计划项目基金(LR201017)资助~~
【分类号】：TP333
【正文快照】： 目的是对大量数据的吞吐应用进行优化[11].同时,1　引　言与磁盘存储默认的数据块概念类似,HDFS上的文件被划分为多个Block分块[12],且每个Block分块随着IT技术迅猛发展以及信息化的深入,数都作为独立的存储单元,以多副本备份策略进行存据的生成量大约每两年就会上翻一倍,几乎

【参考文献】

中国期刊全文数据库 前7条

1 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期

2 朱媛媛;王晓京;;基于GE码的HDFS优化方案[J];计算机应用;2013年03期

3 史英杰;孟小峰;;云数据管理系统中查询技术研究综述[J];计算机学报;2013年02期

4 李晓恺;代翔;李文杰;崔U，

本文编号：989857