海量存储系统扩展中数据组织调整的研究

发布时间：2020-04-01 04:51

【摘要】： 随着用户数量的增加以及用户数据的累积,存储系统中需要存储和管理的数据也将不断增长,系统中数据的组织和管理显得尤为重要。合理的数据组织可提高存储系统的性能,使存储系统具有高可靠性、可用性和可扩展性。通过对系统扩展过程中数据组织的调整进行研究,分析了几种常见存储系统的数据分布,结合集群系统存储空间数据组织的特点,加深了对现有对象存储系统扩展中弊端的理解,并为解决这些弊端提出了相应的重构机制。 存储系统的扩展是导致存储管理成本提升的一个主要原因,存储系统的扩展导致数据的重新组织。通过对已有存储系统中数据分配算法进行分析,结合数据映射表和影射函数两者的优点,从数据分配和元数据一致性两个方面提出了数据重构机制。 数据重构机制考虑了两个方面的因素,首先是数据分布的特点,其次是扩展中元数据的一致性问题。在遵从集群系统数据分布特点的基础上,扩展机制将指定设备上的数据按一定规律迁移到其他设备上,并在文件属性中加入新的标识变量来标识文件经历的扩展次数,通过一个索引表项来记录标识变量对应的(即发生扩展前后)环境特征。该机制能有效消除扩展后对文件访问时可能产生的混乱,使元数据信息在扩展前后逻辑上保持了一致。 分析表明数据重构机制对系统性能的影响可控制在最小范围内,并在此基础上提出了新的设想和进一步要研究的工作。
【图文】：

统要迎接扩展带来的挑战，就有必要研究扩展中数据的组织与化。为了便于分析，本文将存储系统划分为三个层次：系统级理存储空间。物理存储空间指的是物理存储设备的存储空间，它们是存储数据得主要介质。而逻辑存储空间则是利用存储设连续的相同大小的块所构成的地址空间。例如人们所熟知的磁间向外提供了一个一维的按块寻址的地址空间，供它的上层使统向外提供服务的接口层，一般以文件系统或者数据库的存储务，它将逻辑存储空间划分成一个个的数据集。Storage SpaceData Set数据集ID 存储单元ID链... ...... ...... ...数据分配表整化：给数据集上语义描述和ID分配：根据数据集特点和存储空间特点进行分配存储管理：空间及其特逻辑存空间系统

(a)加速度图 (b)效率图图 2.9 相同规模问题下，，不同系统规模上的加速度和效率实验中可以选择那些效率相同的点连成曲线，即是可扩展性曲线。但这种方法麻烦。图 2.10[38]给出了该算法的一条近似可扩展性曲线轨迹。图 2.10 当效率保持不变时的可扩展性曲线，横轴为p，纵轴为N。问题规模正比于3N下面来分析这种数据列的块循环分布方式对可扩展性的影响。表 2.1[38]中保持
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2007
【分类号】：TP333

【参考文献】

相关期刊论文 前10条

1 刘兆春,李光辉,王庆国,柴守海;并行文件系统PVFS[J];信息技术;2005年04期

2 王海涛,石晶,周立柱;海量存储系统的可扩展性[J];计算机工程与应用;2002年15期

3 虞健飞,张恒喜,赵罡;基于贝叶斯理论的数据重构方法[J];计算机工程与应用;2003年02期

4 陈永府,杨小献,陈立平,朱林;面向决策支持的数据重构技术[J];计算机辅助设计与图形学学报;2004年06期

5 陈军,李晓梅;不同数据分配方式下并行系统的可扩展性[J];计算机工程与科学;2000年05期

6 王建军;操作系统与硬盘的数据组织[J];计算机时代;2003年02期

7 王松林;元数据及有关思考[J];情报学报;2002年04期

8 梅海燕;元数据的研究进展[J];现代图书情报技术;2002年04期

9 李凡长;动态模糊数据的扩展模型研究[J];小型微型计算机系统;2002年08期

10 周欣荣,金海;HUST-RAID磁盘阵列存储实验系统的设计与实现[J];小型微型计算机系统;1997年04期

相关博士学位论文 前1条

1 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年

本文编号：2610003