基于移动P2P的分布式存储和传输机制研究

发布时间：2019-11-24 01:58

【摘要】：P2P存储是分布式存储的一种方式，目的是利用节点冗余的计算和存储能力达成经济有效的网络存储。移动P2P分布式存储作为P2P存储领域的一个分支，因为移动P2P网络的动态性，自组织，异构性等特性已经得到了学术界的极大关注。移动P2P的分布式存储是指在一些高度异构的移动节点上，考虑存储空间的有限性，带宽差异性，节点动态性的基础上来提供较为稳定的存储和相应的传输服务。智能平台以及云计算的发展使得移动终端的处理能力获得了大幅度的提升，为移动P2P的研究奠定了物理基础，从而使得基于移动P2P技术进行存储和传输机制的研究成为了可能。移动P2P不同于P2P的一个基本特征是节点的多维异构性。为了保障数据可靠的存储和传输，需要考虑节点的网络带宽，节点的计算能力，节点的存储能力等多种因素。副本节点的选择，副本数量和放置策略，激励机制，并行传输和恢复是解决这类问题的主要手段和目前研究的热点问题。大量副本数据的存储一方面加大了节点存储的负担也加大了数据传输的负载，降低了节点参与度和贡献度。目前研究多数从固网P2P的角度进行移动P2P的研究，而较少考虑移动节点的多维异构性问题，从而在降低每个节点的存储负担和传输负载的情况下，，保证节点之间传输的可靠性，数据存储的可用性和持久性。本文从“节点合作为基础，服务为中心，优化存储和传输机制为目标”这一宗旨出发，深入研究了如何在计算密集区域，利用饱和计算能力进行数据存储和传输的优化问题。论文从移动P2P的体系结构，数据存储与共享，可靠性传输等几个问题入手，采用特定的手段优化资源使用和保证服务质量优化的双重目标。具体为：（1）移动节点的存储空间和带宽资源有限，既要存储其它节点的数据，同时又要从其它节点下载数据进行存储，完全副本存储加重了网络负担和节点的能量消耗，降低了节点在线的可能，进一步降低了服务质量。本文提出基于云存储的高可靠存储模型。模型由云存储层、移动节点群组层，普通移动节点层构成。为了节省移动节点的存储空间和带宽资源，提出移动节点组的两种存储模型，一是交叉存储模型、二是按比例存储模型。交叉存储模型解决了完全副本占用空间过大的问题。按比例存储充分利用了节点的异构性。普通节点使用节点组提供的服务。模型中移动节点不需要存储数据的完整副本，有效节约的存储空间，为用户的其它服务提供了保证。（2）移动P2P节点的带宽差异性极大，针对存储机制和并行获取两个阶段缺乏统筹考虑，导致带宽较慢的节点极大的影响整体传输性能的现象，本文提出了一种支持异构存储的并行传输模型及其相应的算法。用PTRM和PTIM算法解决按比例存储模型和交叉存储模型的负载均衡的调度问题。与CLBS和DAS两种并行传输模型进行了性能比较，结果显示，本文的并行传输模型在传输性能略优于CLBS，与DAS接近，算法在聚集了更大的带宽的同时节省了存储空间，提高了系统可靠性。（3）为了克服移动P2P网络的高度震荡性导致数据失效的情况，大量数据副本冗余是较为常用的一个主要方法。然而，大量的数据冗余不仅加重了移动节点的存储负担，同时也大大增加了节点搜索和传输的时间延迟。本文基于存储空间的限定下，提出动态环境中数据失效后的数据恢复模型。在存储空间占用不大于双副本存储情况下本文提出了四种存储数据恢复方案，具体的方案包括二等分双副本，I等分双副本存储模型，K等分模型散列，以及编码模型散列存储等。在网络正常工作和非正常工作的情况下，研究了它们的数据失效和恢复情况。通过理论分析和比较研究，取得了较好的效果，达到了空间有限占用情况下的高可靠的分布式存储，为选择适合移动P2P的存储模型奠定了理论基础。（4）移动节点之间的性能异构性巨大，选择合适的节点进行数据的存储和传输对于数据的可用性和持久性具有重要的影响。为了提高移动节点数据存储的可靠性，本文提出构造一个合作存储的节点集合G-peer组的模型。一个模型是构造最近的两个存储节点进行副本存储，另一个模型是构造一个三模存储划分。本文使用动态矩形窗的方法计算区域内最近的节点对，利用最近的两个存储节点进行副本存储，构造了一个双节点的G-peer组，进一步减少副本传输代价。在限定通信阈值和传输代价的前提下，充分利用密集计算资源,构造三模存储，本文提出了一种最大的三模存储划分的算法，在一个区域内形成了一个可靠的G-peer组集合。通过仿真实验，验证了算法有效，复杂度不高于以往的算法。移动节点既要享受其它节点提供的服务又要提供服务，因此提高服务质量，提高存储效率，传输速率将进一步提高移动节点的资源利用率，提高移动节点参与度，从而进一步提升移动P2P网络的应用。
【图文】：

手持设备,存储能力,移动网络,计算能力

第 1 章绪论第 1 章绪论和意义持设备的计算能力和存储能力大大的提高，而展，手持设备之间的短距离通讯形成了一个新的-Mobile Peer to Peer）。MP2P）可以理解为叠加在移动网络环境中网够在多种受限的带宽的条件下使用物理介质等接交换实现数据在可移动节点之间共享与传输[

系统结构图,系统结构,服务器

哈尔滨工程大学博士学位论文GFS将整个系统的节点由客户端、主服务器、数据块服务器三类角色构成，描述为 Client、Master和Chunk Server，如图1.2所示。客户端为系统提供应用程序的接口，不遵守POSIX标准，提供库文件来供用户开发。开发应用户可以直接调用这些库函数和库链接。只有一个逻辑GFS服务器作为管点，它是GSF文件系统的枢纽，负责整个文件系统元数据的保存，管理。的存储工作由数据块服务器负责，文件是服务器存储的主要形式，大多数下有多余一个的服务器，GFS的规模一般通过服务器个数体现。系统将文固定大小进行分块，缺省为64MB。
【学位授予单位】：哈尔滨工程大学
【学位级别】：博士
【学位授予年份】：2013
【分类号】：TP393.02;TP333

【参考文献】