海量存储系统中元数据管理机制的研究

发布时间：2022-01-16 23:35

　　海量存储系统中需要保存Terabyte、Petabyte级别甚至更大规模的数据。数据的元数据如文件的名字、属性、保存地址和访问授权等信息一般由元数据服务器进行管理。在访问海量存储系统的数据前,需要首先查找和获得元数据。因此元数据管理机制将直接关系到海量存储系统的I/O性能。现有的海量存储系统一般采用目录层次结构和哈希算法管理元数据,存在修改元数据和查询目录等操作所需时间和空间开销大等问题,也没有针对海量存储系统中元数据访问特性的优化机制,严重制约了海量存储系统的I/O性能。本文在分析海量存储系统中元数据管理特性的基础上,引入DBMS技术以及数据分级的方法,提高管理元数据的效率。论文的具体工作包括:首先引入二维表保存系统中的元数据信息,提出了基于DBMS的新型元数据管理策略,给出了各类元数据操作的流程;分析了在海量存储系统中用于管理元数据信息时所需的时间和空间开销以及适应不同运行环境的能力;实现了基于DBMS元数据管理策略的原型系统,采集实际文件系统中的元数据,构建多种测试环境进行测试与分析,结果表明基于DBMS的元数据管理策略能有效地减少管理元数据所需的时间和空间开销,提高管理元数据的... 

【文章来源】：江苏大学江苏省

【文章页数】：68 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 元数据管理概述
        1.2.1 元数据
        1.2.2 海量存储系统的发展
        1.2.3 元数据管理的发展历程
        1.2.4 元数据管理的研究现状
    1.3 研究目标
    1.4 本文主要工作及组织结构
第二章 海量存储系统元数据管理的特点及分析
    2.1 海量存储系统元数据管理特性分析
    2.2 基于DBMS的海量存储系统元数据管理结构
    2.3 本章小结
第三章 基于DBMS的元数据管理策略
    3.1 现有元数据管理策略的分析
    3.2 基于二维表的元数据结构
    3.3 元数据操作算法设计
        3.3.1 目录操作
        3.3.2 文件操作
        3.3.3 文件属性的操作
        3.3.4 访问授权的操作
    3.4 性能分析
        3.4.1 管理元数据所需的时间与空间开销
        3.4.2 元数据管理的灵活性
    3.5 性能测试
        3.5.1 原型系统的实现
        3.5.2 测试环境的构建
        3.5.3 测试数据集
        3.5.4 测试与分析
    3.6 本章小结
第四章 元数据的分级索引算法
    4.1 现有元数据索引算法的分析
    4.2 基于数据生命周期的元数据分级算法
    4.3 活跃元数据分区索引算法
        4.3.1 分区机制
        4.3.2 子索引定位机制
    4.4 非活跃元数据索引算法
    4.5 性能分析
        4.5.1 查询元数据所需的时间与空间开销
        4.5.2 更新索引所需的时间与空间开销
    4.6 性能测试
        4.6.1 原型系统的实现
        4.6.2 测试环境的构建
        4.6.3 测试数据集
        4.6.4 测试与分析
    4.7 本章小结
第五章 总结与展望
    5.1 工作总结
    5.2 下一步工作展望
参考文献
致谢
发表论文


【参考文献】：
期刊论文
[1]海量存储系统中高可扩展性元数据服务器集群设计[J]. 吴伟,谢长生,韩德志,黄建忠.  计算机科学. 2007(07)
[2]基于共享存储池的元数据服务器机群的设计研究[J]. 苏勇,周敬利,余胜生,姜明华,刘钢.  小型微型计算机系统. 2007(04)
[3]基于目录路径的元数据管理方法[J]. 刘仲,周兴铭.  软件学报. 2007(02)



本文编号：3593624