基于软件定义存储的小文件性能优化研究

发布时间：2021-01-04 12:03

　　大量云存储系统支持多租户技术,以有效降低基础设施成本,因而云存储系统的性能对于多租户应用至关重要。然而在面对大量小文件存取访问时,云存储系统在元数据管理、缓存管理以及数据布局等多个方面面临挑战,系统的整体读写性能不佳。现有工作主要使用合并和预取技术来改善小文件的访问性能,但对于多租户应用场景,还需考虑三个问题:（1）存储系统的静态配置不能满足不同租户需求,例如同一预取或缓存替换算法很难适用于多个具有不同访问特征的租户;（2）多个租户的小文件的混合合并存储使得合并块内文件关联度较低,影响预取性能;（3）租户之间的资源竞争,例如高请求率租户占据更多缓存资源,会影响其他租户的访问性能。为解决上述问题,设计了一种面向多租户小文件访问的软件定义对象存储系统（Software Defined Object Storage System,SD-OSS）。SD-OSS的控制平面可以为数据平面配置不同的合并块阈值和缓存替换策略,从而适应多个租户的不同访问特征和多种小文件类型。SD-OSS的数据平面提供一种基于租户分类的小文件合并机制,该机制将小文件按照租户和文件类型合理划分后再合并存储,能够有效提升合并... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：82 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究概况
    1.3 本文主要研究内容
    1.4 本文组织结构
2 相关技术概述
    2.1 OpenStack Swift系统概述
    2.2 多租户技术
    2.3 软件定义存储
    2.4 本章小结
3 SD-OSS系统小文件性能优化方案设计
    3.1 SD-OSS系统总体架构设计
    3.2 控制模块
    3.3 负载信息监控模块
    3.4 分类处理模块
    3.5 本章小结
4 SD-OSS系统小文件性能优化方案实现
    4.1 控制模块
    4.2 负载信息监控模块
    4.3 分类处理模块
    4.4 本章小结
5 性能测试与结果分析
    5.1 测试环境与测试负载
    5.2 测试对照方案
    5.3 测试结果分析
    5.4 本章小结
6 总结与展望
致谢
参考文献
附录1 攻读硕士学位期间发表的论文和专利


【参考文献】：
期刊论文
[1]云计算时代的软件定义存储技术[J]. 郭佳琳.  黑龙江科技信息. 2016(30)
[2]面向下一代数据中心的软件定义存储技术研究[J]. 孙振正,龚靖,段勇,雷俊智.  电信科学. 2014(01)
[3]基于Redis的海量小文件分布式存储方法研究[J]. 刘高军,王帝澳.  计算机工程与科学. 2013(10)
[4]基于Hadoop的海量MP3文件存储架构[J]. 赵晓永,杨扬,孙莉莉,陈宇.  计算机应用. 2012(06)



本文编号：2956731