基于开放通道固态盘的数据去重技术研究

发布时间：2021-04-13 23:55

　　基于NAND闪存的固态盘由于其性能优于机械磁盘而被广泛部署在存储系统中,但由于写放大以及闪存介质磨损等原因,减少写操作可提高固态盘的性能与可靠性。此外,统计表明常见的数据集中普遍存在重复数据,利用数据去重技术可以有效减少写入固态盘的数据量,改善其性能与可靠性。但是传统的基于固态盘的数据去重开销较大,会成为固态盘的性能瓶颈。针对上述问题,设计了基于开放通道固态盘的数据去重系统D-pblk,它可利用主机端高性能处理器快速计算指纹,减少指纹计算开销。D-pblk采用了双指纹哈希校验策略,首先采用CRC32计算弱指纹过滤大部分非重复数据,并当数据可能重复时,再采用SHA-1计算强指纹准确识别数据是否重复,从而减小指纹计算开销,并且D-pblk能充分利用主机端的计算资源,加速指纹的计算,降低数据去重在数据写请求关键路径上带来的延迟。此外,D-pblk还实现了双环形缓冲区策略,有效解决了去重后的数据大小可能无法匹配写一个闪存页大小的问题。经实验测试表明,基于开放通道固态盘的数据去重系统D-pblk对常见的6种工作负载,去重率在4.61%到31.63%之间。相较于未进行数据去重的系统,在基本不影响读... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
1 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 本文研究内容
    1.4 论文结构
2 基于开放通道固态盘的数据去重设计
    2.1 设计思想与系统整体设计
    2.2 双环形缓冲区设计
    2.3 数据去重模块设计
    2.4 本章小结
3 基于开放通道固态盘的数据去重实现
    3.1 双环形缓冲区实现
    3.2 数据去重模块实现
    3.3 读写模块实现
    3.4 本章小结
4 测试
    4.1 测试环境与测试负载选择
    4.2 系统性能测试分析
    4.3 本章小结
5 总结和展望
    5.1 论文总结
    5.2 展望
致谢
参考文献
附录1 攻读硕士学位期间发表论文目录


【参考文献】：
期刊论文
[1]存储系统重复数据删除技术研究综述[J]. 谢平.  计算机科学. 2014(01)

博士论文
[1]数据备份系统中冗余数据的高性能消除技术研究[D]. 夏文.华中科技大学 2014

硕士论文
[1]基于闪存固态盘的重复数据删除技术的设计与实现[D]. 陈正国.国防科学技术大学 2015



本文编号：3136245