基于Dynamo的存储机制研究

发布时间：2019-08-10 10:56

【摘要】：云计算是目前IT领域最为热门的技术，而云存储更是云计算的核心。云存储在云计算搭建的物理设施之上要对庞大的数据进行有效并且可靠的存储和梳理，硬件之上的软机制便是本文针对云存储讨论的核心内容。 Amazon公司提出的Dynamo存储架构是最早商用的云存储系统之一，在云计算领域具有十分重要的地位。它是一个完全分布式的、去中心化的系统，其对于云存储遇到的各种问题都有专门的机制进行处理。可是因为云存储结构的复杂性，Dynamo处理问题的各种机制均存在一定问题。 本文对云计算以及Amazon公司的产品均进行了简单介绍。随后针对Dynamo存储架构的特点、主要机制等方面作了详细的介绍。接着探析了Dynamo存储架构中的各项机制存在的问题，并给出了部分问题的研究方案与改进成果。 首先，针对Dynamo架构在处理临时故障节点时采用的参数回传机制hintedhandoff容易造成节点二次故障的问题，设计出了分级移交解决方法，并通过实验与分析说明了分级移交的优越性。 其次，本文指出了Dynamo架构对节点进行错误检测的心跳机制的不足，说明其没有考虑到网络状态的起伏。然后提出了心跳门限判决机制来解决该问题，通过实验仿真，说明了所提方案对于某些网络波动状况下的故障检测错误率较之原架构具有极大的改善。 对于一致性与版本冲突，原架构存在的产生脏数据的问题，本文也都相应的给出了两阶段存储机制和后写即赢策略来进行处理和改善，通过分析均可以看出收到了良好的改进效果。 文章中对其他没有给出改进方法的问题也作了一定的分析，以作为后续研究的参考。
【图文】：

图 1.7 大众对云存储的关注调查1.4 本文结构安排本文在对云计算尤其是云存储进行了普遍的学习之后，重点针对 Amazo的 Dynamo 存储架构中的各项机制进行了研究。通过对其临时故障处理方析，提出了分级移交的数据回传机制，解决了原本机制容易造成节点二次问题；同时通过对错误检测机制的研究，解决了原本机制误判节点死亡的问时还针对一致性问题和版本冲突问题提出了两阶段存储方法和后写即赢策新方法，很好的避免了脏数据的生成。本文的具体内容安排如下：第一章全面介绍了云计算的研究背景和意义，并重点对 Amazon 公司的业务进行了简要的介绍，最后分析了云存储的现状。通过第一章能很好的计算的产生、发展以及 Amazon 公司云计算的主要产品与业务流程。第二章首先对 Dynamo 存储架构做了概述，介绍了 Dynamo 架构发展自布式存储引擎，并且其如何通过各项设计解决之前的简单分布式存储引擎

图 2.9 Cassandra 存储模型结构图① 图中的Cluster是Cassandra的集群，一个Cluster中则包含有多个Keys为 Keyspace 的容器；② 一个 Keyspace 是 Cassandra 的哈希第一维，一个 Keyspace 包含有多lumnFamily，其为 ColumnFamily 的容器，一般情况下一个应用就对应一yspace，Keyspace 其实就相当于一个数据库；③ 一个 ColumnFamily 包含有多个 Column 或者 SuperColumn，一般简称 的指的就是 ColumnFamily；④ SuperColumn 中的 value 其实就是 Column，，所以 SuperColumn 可以进行排序；⑤ Column 是 Cassandra 的最小存储单位，其为一个三元组数据，如图所示括 name、value 和 timestamp。Cassandra 中存储的数据结构是基于 Column 的结构，Row 是 Column 的集合 Rowkey 标示，Rowkey 就相当于数据库中的主键。每个 Rowkey 对应的数据
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【参考文献】

相关期刊论文 前7条

1 钱文静;邓仲华;;云计算与信息资源共享管理[J];图书与情报;2009年04期

2 耿永利;;浅谈分布式数据库系统安全的策略[J];硅谷;2010年10期

3 韩君易;;NoSQL数据库解决方案Tair浅析[J];电子商务;2011年09期

4 晏强;张晓锋;丁蕊;;云存储技术研究[J];计算机与信息技术;2011年12期

5 王胜川;;基于云计算的存储技术研究[J];石油工业计算机应用;2011年02期

6 叶钰;李太宁;刘渊;;基于SimpleDB进行分布式数据云存储[J];泰州职业技术学院学报;2010年01期

7 吕明育;李小勇;;NoSQL数据库与关系数据库的比较分析[J];微型电脑应用;2011年10期

本文编号：2525184