高可靠性存储系统的综合数据冗余策略

发布时间：2020-12-11 09:45

　　分级存储系统通常根据访问频率将数据分层:将访问频率最高的数据放在快速存储设备中(热数据层),将访问频率最低的数据存储在慢速存储设备中(冷数据层),将访问频率介于两者之间的数据放在中速存储设备中(温数据层)。分布式文件系统通常使用多副本技术来保证系统的可靠性和可用性,比如在集群的不同节点上保存数据的三个副本,多副本技术通常在热数据层被使用。类似于Reed Solomon的纠删码技术(Erasure Code)正越来越多被使用,因为纠删码技术能够进一步地减小存储开销,但是其提供了较低性能的I/O和可用性。所以纠删码技术被更多地用来存储冷数据(比如冷存储层)。现有系统使用三副本复制,纠删码技术或将两者融合合来实现异构存储系统。在这些实现中,多副本技术和纠删码技术的融合表明:两种技术在I/O性能和存储成本方面存在着巨大差距,这导致将数据从一种形式迁移到另一种形式将产大巨大的系统开销。因此,现有的方法不适用于温数据层实现,特别是在分层存储系统中。为了解决这个问题,在本文中我们引入了Warm Cache,一种用于存储温数据的新数据层:将一个副本通过纠删码技术存储,另一个副本则存储在主存储数据层中。... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
Symbols definition
Chapter 1 Introduction
    1.1 Research Background
    1.2 Value of our research
    1.3 Research goal
    1.4 Organization
Chapter 2 Related work
    2.1 Replication
    2.2 Erasure coding
    2.3 Comprehensive solutions by combining replication and ECs
    2.4 Caching in DFS
    2.5 Prefetching and cache warm-up
    2.6 Motivation of our idea
Chapter 3 Design of Warm Cache
    3.1 Key Idea
    3.2 Identify data temperature and data layer threshold
    3.3 Data allocation and burst algorithm
    3.4 Warm data layer fault recovery
    3.5 Scalability
    3.6 Read and write operations
    3.7 Burst scenario analysis
Chapter 4 Evaluation
    4.1 Methodology
    4.2 Setup
    4.3 Defining parameters
    4.4 Experimental results
    4.5 Analysis
    4.6 Conclusion
Summary
REFERENCES
Acknowledgement
Academic papers published during degree study



本文编号：2910318