一种基于混合索引的HDFS小文件存储策略

发布时间：2020-02-06 12:10

【摘要】：Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标。实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载。实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销。
【图文】：

架构图,文件存储,架构,文件映射

映射)的B+树索引，DataNode数据端根据所存储小文件的大小，有区别的建立合适的块内索引，以实现小文件高效快速的访问。图1小文件存储架构图Fig．1Smallfilesstoragearchitecture图2混合索引策略Fig．2Hybridindexstrategy本文混合索引策略中，由于小文件标签和小文件映射动态增长，对上层的小文件标签建立基于小文件标签的可扩展散列索引。可扩展散列可节省空间，当索引项增长时，动态分配桶，，虽然需要维护桶地址表，这一额外开销影响非常小，我们可以忽略。传统的散列索引结构为了提高数据映射的随机性，相邻数据项在索引项的位置是离散的，这不利于小文件映射记录的局部性访问。本文提出基于文件标签的散列索引，除了保持散列索引的处理速度、存储空间的优势，还能有效提高缓存命中率。该索引结构的主要思路是根据小文件所属标签，使用文件标签代替数据项作为索引单元，保证同一标签的文件映射记录被映射到同一个桶中，访问文件映射记录时，其缓存命中率有所提高，从而使小文件达到更高的访问效率。下层的小文件映射采用B+树结构，由于小文件映射记录海量且要适应多个客户端并发请求，Na-meNode内存不能承担载如此大的负载，所以小文件映射只能存储在磁盘上，需按文件块读取到内存。要有效查询小文件映射，必须减少磁盘访问次数，而B+树索引具有搜索路径短的特点，适合作为小文件映射的索引结构。B+树索引的搜索路径小于［log［n/2］()K］(n为结点的阶，K为索引项的总数量)。例如，结点的大小一般为磁盘块大小(4KByte)，如果搜索码大小为32Byte，n=4×210/32=100，如果索引项有1000000个，一次查询访问磁盘次数为log［100/2］(1000000)=4次。再加上缓存的作用，访问磁盘的次数更少。

索引,策略,文件映射

映射)的B+树索引，DataNode数据端根据所存储小文件的大小，有区别的建立合适的块内索引，以实现小文件高效快速的访问。图1小文件存储架构图Fig．1Smallfilesstoragearchitecture图2混合索引策略Fig．2Hybridindexstrategy本文混合索引策略中，由于小文件标签和小文件映射动态增长，对上层的小文件标签建立基于小文件标签的可扩展散列索引。可扩展散列可节省空间，当索引项增长时，动态分配桶，虽然需要维护桶地址表，这一额外开销影响非常小，我们可以忽略。传统的散列索引结构为了提高数据映射的随机性，相邻数据项在索引项的位置是离散的，这不利于小文件映射记录的局部性访问。本文提出基于文件标签的散列索引，除了保持散列索引的处理速度、存储空间的优势，还能有效提高缓存命中率。该索引结构的主要思路是根据小文件所属标签，使用文件标签代替数据项作为索引单元，保证同一标签的文件映射记录被映射到同一个桶中，访问文件映射记录时，其缓存命中率有所提高，从而使小文件达到更高的访问效率。下层的小文件映射采用B+树结构，由于小文件映射记录海量且要适应多个客户端并发请求，Na-meNode内存不能承担载如此大的负载，所以小文件映射只能存储在磁盘上，需按文件块读取到内存。要有效查询小文件映射，必须减少磁盘访问次数，而B+树索引具有搜索路径短的特点，适合作为小文件映射的索引结构。B+树索引的搜索路径小于［log［n/2］()K］(n为结点的阶，K为索引项的总数量)。例如，结点的大小一般为磁盘块大小(4KByte)，如果搜索码大小为32Byte，n=4×210/32=100，如果索引项有1000000个，一次查询访问磁盘次数为log［100/2］(1000000)=4次。再加上缓存的作用，访问磁盘的次数更少。

【参考文献】