基于纠删码的分布式固态盘键值存储系统优化设计

发布时间：2023-01-25 21:50

　　互联网的高速发展带来了数据量的激增,海量的数据请求都需要存储系统提供快速响应,并提供高可用性保证。为提高系统性能,热门数据大量缓存在高速键值存储系统中,以减轻数据库的压力。缓存失效会导致数据库的负载极大增加,导致系统性能下降,甚至崩溃。Twitter的Fatcache与Facebook的Mcdipper均为基于固态盘的分布式键值缓存系统,为大量数据提供相对较低成本缓存,然而均未为数据提供可靠性保证。纠删码具有良好的容错性,存储开销小,被广泛应用于分布式存储系统中以保证数据可靠性,但纠删码在更新、修复失效数据块时需要获取大量数据,为系统带来了响应性能低、带宽成本高的挑战。论文设计了基于纠删码的高可靠固态盘键值存储系统EC-fatcache,实现了校验块日志方案以优化更新操作,在更新数据块时不对校验块进行及时更新,以减少固态盘寿命损耗、提升更新性能,针对校验块日志方案带来的降级读性能下降问题,设计了首块校验块优化方案以优化降级读操作,增加一个基于内存的节点集中存放各条带中的首块校验块,以提升性能、降低成本,更好地适应读密集应用场景。实验测试表明,EC-fatcache与副本方案相比能够节省... 

【文章页数】：65 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 国内外研究现状
    1.3 研究内容和目标
    1.4 本文的组织结构
2 EC-fatcache系统设计
    2.1 EC-fatcache系统设计动机
    2.2 EC-fatcache系统功能模块设计
    2.3 基于校验块日志更新方案的优化设计
    2.4 面向读密集的校验块日志更新方案的优化
    2.5 本章小结
3 EC-fatcache系统实现
    3.1 基本功能模块的实现
    3.2 校验块日志方案的实现
    3.3 首块校验块优化方案的实现
    3.4 本章小结
4 EC-fatcache系统测试与分析
    4.1 功能测试
    4.2 性能测试与分析
    4.3 本章小结
5 总结与展望
致谢
参考文献


【参考文献】：
期刊论文
[1]云计算环境下的分布存储关键技术[J]. 王意洁,孙伟东,周松,裴晓强,李小勇.  软件学报. 2012(04)



本文编号：3731834