分级存储系统中元数据管理的设计与实现

发布时间：2020-05-17 10:52

【摘要】： 数字信息的飞速增长使得信息存储管理的复杂性不断增加,分级存储管理(Hierarchy Storage Management简称HSM)作为存储领域一个重要的角色受到了越来越多的关注。HSM通过对信息的分类和价值评价,合理地将数据信息存储于整个存储系统中的适当位置,并在信息从创建到销毁的整个生命周期中提供最优的管理服务。其中高适用性的系统结构、高效的管理策略以及透明的动态存储访问成为大规模数据管理系统的重大挑战。为此,本文分析了HSM的体系结构和设计方法,设计并实现了SAN存储网络下的威视分级管理系统(WISHSM),同时通过对文件重解析、数据迁移、数据回迁、策略缓存以及数据库性能的优化等关键技术的研究和实现,使WISHSM具备了很高的适用性和性能,实现了高效的数据信息管理的目标。本文重点论述了元数据管理的设计与实现。WISHSM针对数据分类和信息价值评价的配置设计了分级存储管理中需要的应用元数据,文件系统监测采集和统计应用元数据信息,并根据文件操作(如创建,修改,删除等),对这些信息进行更新和维护。采集的元数据信息通过应用服务器代理模块发送给元数据服务器,最后由元数据管理模块保存在数据库当中,提供给数据迁移服务使用。通过压力性能测试,证明该实现可以达到实际需要。通过性能测试,策略缓存技术使系统的策略执行性能提高了一个数量级。另外针对原策略缓存初始化性能低下的问题,采用策略元数据池(Policy Metadata Container)进行优化,在WISHSM上策略缓存的初始化时间降低了16～20倍。
【图文】：

结构化,数据信息,有效组织

F19.1.1structureddataandinformation12]随着信息的爆炸式的增长，数据的有效组织和存储却成为一个非常严重的问题。如图1.1所示，，全球的信息量以每年30一70%的速度在增长，而结构化有序有效被组织起来的数据只有30%一50%，没有有效组织起来可以被方便利用的数据信息达到35%一55%，

总数据,硬盘,数据,形式

图 1.2不同形式硬盘中新建单一数据与总数据比较川 F19.1.2Uniqueandtotaldatasummaryinharddiskdrive11]如图1.2所示，蓝色代表不同形式硬盘数据中总的数据，紫色代表不存在副本的单一数据的比例。在个人电脑上绝大多数数据都是副本，而在企业中则新建的原创数据占了40%的比重。这同时也反映出一个问题，企业中的数据比较有组织性，利用的效率比较高，从而新建数据中副本比较少。
【学位授予单位】：大连海事大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：TP333

【参考文献】