基于P2P的广域存储系统数据持久存储机制研究
发布时间：2020-08-02 15:16
【摘要】： P2P(Peer-to-Peer)的组织模式因具有很好的扩展性、容错性和高性能等特点,已经成为新一代互联网应用的重要形式。基于P2P的广域存储系统一直是研究界所关注的热点,被认为是P2P最具前途的应用之一。数据的持久性存储是制约广域存储系统发展的关键,也是其研究的难点问题。本文首先概述了当前知名的基于P2P的广域存储系统及其所使用的持久存储技术,然后详细分析和对比了数据持久存储技术中存储数据冗余技术、存储数据定位技术、存储数据错误检查技术和存储数据修复技术。 针对基于P2P的广域存储系统中数据持久性存储存在的问题,本文研究了近年来基于P2P的广域存储系统节点间Byzantine错误冗余相关技术的成果。概述了系统容错的要求与技术,对现有Byzantine错误冗余技术进行了总结。详细分析对比了目前各种典型Byzantine容错系统的容错方式,探讨了基于P2P的广域存储系统中Byzantine容错技术需要改进的关键问题,并对未来的研究方向进行了讨论。随后,给出了一个实际环境下基于P2P的广域存储系统Byzantine错误冗余的解决方案框架。 在该解决方案的框架下,本文以预测的网络距离对参与节点进行分组,形成由超节点维护管理的覆盖网络。使用覆盖网络拓扑结构保持机制、DHT数据存储机制、依据数据访问率不同的数据备份机制和数据修复机制,维护系统的可靠性和数据的持久存储。 在仿真实验基础上,通过与典型系统Chord在数据存储定位路由查询跳数、节点加入和退出系统时系统平均处理消息数以及节点失效时数据修复所需平均时间的性能对比,验证了该P2P广域存储系统数据持久性存储的性能。
【学位授予单位】：湖南大学
【学位级别】：硕士
【学位授予年份】：2009
【分类号】：TP333
【图文】：
图 1.1 Berkeley 和 MIT 设计的 P2P 存储系统发展过程从图中不难发现，P2P存储系统大致是2000年发展起来的，最初的存储系统伴随着各知名路由算法如Tapestry[6]、CAN[7]和Chord[8]产生。随着时间的推移，对P2P存储系统数据持久存储设计的认识也更加深入，下面本文将介绍几种知名的基于P2P的广域式存储系统及其数据持久存储设计。1 Berkeley的OceanStore海量存储系统OceanStore[9]是一种基于P2P的广域存储系统。它是2000年加州大学Berkeley分校的B Zhao，J. Kubiatowicz提出的概念，他们将其定义为一种跨越全球和提供永久持续存储信息的非常有效的存储结构，系统构建设想如图1.2所示。该系统构建在较为稳定的由服务商提供的节点集合上，节点间通过协议保证能互相提供持续的服务；系统假设每个节点都可能不可信，但其系统整体上又是可信的；系统中的数据不断演化使系统能够自我调整；系统中的数据可共享和全局访问，系统能保证数据私密性和完整性；系统还提供一定的数据一致性保证。本文作者还提出了两种可能实现数据安全持久存储的算法, 即海量存储的概率
是一种基于P2P的广域存储系统。它是2000年加州大学Berkeley分校的B Zhao，J. Kubiatowicz提出的概念，他们将其定义为一种跨越全球和提供永久持续存储信息的非常有效的存储结构，系统构建设想如图1.2所示。该系统构建在较为稳定的由服务商提供的节点集合上，节点间通过协议保证能互相提供持续的服务；系统假设每个节点都可能不可信，但其系统整体上又是可信的；系统中的数据不断演化使系统能够自我调整；系统中的数据可共享和全局访问，系统能保证数据私密性和完整性；系统还提供一定的数据一致性保证。本文作者还提出了两种可能实现数据安全持久存储的算法, 即海量存储的概率算法（probabilistic algorithm）和全球算法（global algorithm）。图 1.2 海量存储系统构建设想图
数f依系统实际运行而动态变化。Agile Store 系统由三个部分组成：1）提供文件系统服务的服务器节点；2）使用文件系统的客户机节点；3）向存储系统提供错误检测的服务（fault detection service）。Byzantine 容错编码位于服务器节点中。系统假设任意时间内发生的失效服务器节点数目不超过最大可失效节点个数。假设存储网络异步执行，系统的 read－write 操作选举协议、错误检测和重构（reconfiguration）算法操作都在以上假设下执行。系统结构如图 1.5 所示，其中客户代理（client agent）是一用户空间，该空间输出 NFS 文件服务器接口到客户机。客户代理通过元数据服务（metadata services）和数据服务器的交互完成 NFS请求。元数据服务由一组被指定用于处理文件系统元数据需求的分布式服务器组成。元数据服务执行 BFT 状态机制[32]。Agile 原型系统使用 Castro－Liskov 协议[33]。其数据服务器由一组分布式的服务器组成。客户代理随机选择一个数据服务器作为其代理服务器，代理服务器向前传递其请求到 quorum 数据服务器。请求回复也通过代理服务器传达给客户。为了保证在有代理服务器失效时 read 操作和write 操作的一致性，MACs 被使用于请求和回复请求中。
本文编号：2778692
【学位授予单位】：湖南大学
【学位级别】：硕士
【学位授予年份】：2009
【分类号】：TP333
【图文】：
图 1.1 Berkeley 和 MIT 设计的 P2P 存储系统发展过程从图中不难发现，P2P存储系统大致是2000年发展起来的，最初的存储系统伴随着各知名路由算法如Tapestry[6]、CAN[7]和Chord[8]产生。随着时间的推移，对P2P存储系统数据持久存储设计的认识也更加深入，下面本文将介绍几种知名的基于P2P的广域式存储系统及其数据持久存储设计。1 Berkeley的OceanStore海量存储系统OceanStore[9]是一种基于P2P的广域存储系统。它是2000年加州大学Berkeley分校的B Zhao，J. Kubiatowicz提出的概念，他们将其定义为一种跨越全球和提供永久持续存储信息的非常有效的存储结构，系统构建设想如图1.2所示。该系统构建在较为稳定的由服务商提供的节点集合上，节点间通过协议保证能互相提供持续的服务；系统假设每个节点都可能不可信，但其系统整体上又是可信的；系统中的数据不断演化使系统能够自我调整；系统中的数据可共享和全局访问，系统能保证数据私密性和完整性；系统还提供一定的数据一致性保证。本文作者还提出了两种可能实现数据安全持久存储的算法, 即海量存储的概率
是一种基于P2P的广域存储系统。它是2000年加州大学Berkeley分校的B Zhao，J. Kubiatowicz提出的概念，他们将其定义为一种跨越全球和提供永久持续存储信息的非常有效的存储结构，系统构建设想如图1.2所示。该系统构建在较为稳定的由服务商提供的节点集合上，节点间通过协议保证能互相提供持续的服务；系统假设每个节点都可能不可信，但其系统整体上又是可信的；系统中的数据不断演化使系统能够自我调整；系统中的数据可共享和全局访问，系统能保证数据私密性和完整性；系统还提供一定的数据一致性保证。本文作者还提出了两种可能实现数据安全持久存储的算法, 即海量存储的概率算法（probabilistic algorithm）和全球算法（global algorithm）。图 1.2 海量存储系统构建设想图
数f依系统实际运行而动态变化。Agile Store 系统由三个部分组成：1）提供文件系统服务的服务器节点；2）使用文件系统的客户机节点；3）向存储系统提供错误检测的服务（fault detection service）。Byzantine 容错编码位于服务器节点中。系统假设任意时间内发生的失效服务器节点数目不超过最大可失效节点个数。假设存储网络异步执行，系统的 read－write 操作选举协议、错误检测和重构（reconfiguration）算法操作都在以上假设下执行。系统结构如图 1.5 所示，其中客户代理（client agent）是一用户空间，该空间输出 NFS 文件服务器接口到客户机。客户代理通过元数据服务（metadata services）和数据服务器的交互完成 NFS请求。元数据服务由一组被指定用于处理文件系统元数据需求的分布式服务器组成。元数据服务执行 BFT 状态机制[32]。Agile 原型系统使用 Castro－Liskov 协议[33]。其数据服务器由一组分布式的服务器组成。客户代理随机选择一个数据服务器作为其代理服务器，代理服务器向前传递其请求到 quorum 数据服务器。请求回复也通过代理服务器传达给客户。为了保证在有代理服务器失效时 read 操作和write 操作的一致性，MACs 被使用于请求和回复请求中。
【引证文献】
相关硕士学位论文 前2条
1 许劲斌;P2P网络存储系统的数据可靠性研究[D];哈尔滨工程大学;2011年
2 胡益明;P2P分布式存储系统副本策略研究[D];湖南大学;2011年
本文编号：2778692
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2778692.html
