基于对象相关性的缓存策略的设计与实现

发布时间：2020-04-06 01:40

【摘要】： 对象存储系统作为近几年兴起的一种存储技术,越来越在高性能存储领域受到重视,研究对象的相关性对于优化对象存储系统的管理策略和性能都有着重要意义。在对象存储系统中,元数据的管理和请求都统一由元数据服务器来统一管理和处理,一个性能良好的缓存模块可以大大缓解在元数据端查询的瓶颈。因此选择在元数据服务器端实现了一个基于对象相关性的数据预取模块。依据历史访问次序和对象语义两个方面进行数据信息的挖掘,建立对象相关性的评价模型。然后提出了一种基于对象相关性的有向带权图的缓存算法,实现对象存储系统中元数据服务器的缓存功能。通过引入机器学习中的方法对缓存模型进行改进。使用线性回归分析的方法,建立线性方程组来进一步改进和评价公式中的影响因子,以获取更准确的影响因子。使用加强学习的方法,在缓存算法中增加了反馈的机制。最后对缓存模型进行了测试。利用HP trace数据对数据预取模块进行了测试,并且对测试结果数据进行回归分析,计算出线性拟合后的评价公式,并对拟合的结果进行了校验,实验表明回归模型对原始数据结构拟合得比较好,分析预测结果比较准确。
【图文】：

线程池,缓存

图 3-4 线程池服务器模型网络层的监听端口，负责不断的获取并发到来的客户端的元数据查询请求，请求存放到到缓冲队列中，而线程池中的服务线程同步的去获取一个请求，进理，并将处理过后的结果返回给客户端。使用一个良好结构的服务器模型，可好的分隔开程序结构和程序逻辑。这样具体的元数据服务的逻辑就交给每个服程去完成。当元数据服务器收到文件的元数据请求时，会优先去缓存中查找，并且更新模块的数据和状态。每次访问的结果都会影响缓存换入换出对象的情况，同时命中也会影响缓存的命中率计算，以便于后续统计和改进缓存算法使用。如果元数据服务器中查不到该对象，，则需要去数据库中查找，数据库中完整放和管理着所有对象的元数据信息。) 数据库使用了 Berkeley DB 数据库来集中存放对象的元数据信息。Berkeley DB 是轻量级的开源的嵌入式数据库[25]，提供了良好的可扩展性、优秀的性能，支持
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2009
【分类号】：TP333

【参考文献】