基于对等网络的分布式存储技术研究与实现

发布时间：2020-05-17 04:02

【摘要】： 网络规模的日益增大,网络资源的急速膨胀,用户对数据可靠性和数据获取速度越来越高的要求,使分布式存储技术面临着巨大的挑战。P2P技术的产生为分布式存储带来了新的解决思路。与传统的分布式存储技术不同,P2P技术不是将研究重点放在服务器和存储设备上,而是通过充分利用网络中的用户节点来解决分布式存储技术面临的问题。因此,基于对等网络的分布式存储系统具有庞大的存储容量以及较好的可扩展性和可靠性。 本文设计了一个基于对等网络的分布式存储系统。该系统具有很好的可扩展性、保密性和抗毁坏性。本文的主要内容如下: (1)设计了基于对等网络的两层分布式存储体系结构。系统通过构建一个两层的网络来提高系统的可扩展性。系统中的节点分为内容分发器和用户节点。内容分发器用于保存网络拓扑信息和资源索引信息。用户节点用于保存资源分片、冗余存储的部分网络拓扑信息和资源索引信息。系统上层网络是由内容分发器节点组成的非结构化对等网络。因此,系统在内容分发器节点频繁上下线的环境中,依然可以具有较好的性能。每个内容分发器节点管辖一组用户节点,所有的用户节点共同构成下层网络。本文制定了详细的网络构建和维护规则。 (2)提出了基于信息缓存的资源查找算法。通过对现有非结构化对等网络资源查找算法的分析和对比,在结合系统自身特点的基础上,本文提出了基于信息缓存的非结构化对等网资源查找算法(LHC:lookahead with catch)。通过将LHC算法与其它算法进行仿真分析,证明LHC算法具有较高的资源查找效率。因此系统资源查找模块采用LHC算法来实现。 (3)设计并实现了系统的信息冗余模块。内容分发器通过将自己的节点信息和资源索引信息冗余存储在邻居内容分发器节点所在的域中,来避免自身下线所带来的本域资源不可得问题,从而提高了系统的可靠性。由于系统中节点的共享存储空间有限,内容分发器没有存储空间时,会将信息分布存储在其管辖的用户节点。本文制定了基于用户节点剩余存储空间的冗余信息存储节点选取方案。
【图文】：

是系统中文件资源的提供者、获取者，也是文件分片和冗余信息的存储者。根据用户节点在系统运行中的角色，用户节点可以分为：1) 内容存储节点：用户节点需要存储内容分发器发送的资源或需要向内容分发器提供存储的资源时，其身份就是内容存储节点。用户节点做为系统中资源信息的存储者，需要存储文件分片和冗余的文件元数据、文件分片位置索引、节点邻居列表等信息。2) 内容发布节点：用户节点需要共享文件资源时，其身份就是内容发布节点。系统中的文件资源全部由用户节点提供，但用户节点本身并不存储它所产生的文件资源。用户节点会将需要共享的文件上传到指定的内容分发器。3) 内容获取节点：用户节点需要下载某个文件资源时，其身份就是内容获取节点。内容获取节点会向内容分发器发送文件请求，内容分发器根据请求从其它用户节点上获取文件分片，并将重组得到的文件发送给请求节点。整个系统采用一种两层的网络体系结构，上层是由内容分发器组成的一个非结构化 P2P 骨干网。内容分发器和用户节点采用星型结构，所有用户节点构成其底层网络。上层网络拓扑结构如图 3-2 所示。内容分发器

是系统中文件资源的提供者、获取者，也是文件分片和冗余信息的存储者。根据用户节点在系统运行中的角色，用户节点可以分为：1) 内容存储节点：用户节点需要存储内容分发器发送的资源或需要向内容分发器提供存储的资源时，，其身份就是内容存储节点。用户节点做为系统中资源信息的存储者，需要存储文件分片和冗余的文件元数据、文件分片位置索引、节点邻居列表等信息。2) 内容发布节点：用户节点需要共享文件资源时，其身份就是内容发布节点。系统中的文件资源全部由用户节点提供，但用户节点本身并不存储它所产生的文件资源。用户节点会将需要共享的文件上传到指定的内容分发器。3) 内容获取节点：用户节点需要下载某个文件资源时，其身份就是内容获取节点。内容获取节点会向内容分发器发送文件请求，内容分发器根据请求从其它用户节点上获取文件分片，并将重组得到的文件发送给请求节点。整个系统采用一种两层的网络体系结构，上层是由内容分发器组成的一个非结构化 P2P 骨干网。内容分发器和用户节点采用星型结构，所有用户节点构成其底层网络。上层网络拓扑结构如图 3-2 所示。内容分发器
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2008
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 李云春,杨永利,李巍,许大炜,张文杰;一种分布式对等区域的研究与设计[J];计算机应用研究;2004年11期

2 尹腾飞;陈戈;吕智涵;田蕾;;基于DHT对等网络的虚拟场景数据发布[J];微计算机信息;2011年06期

3 蔡荣杰;端妮;郭文明;杨小燕;周永坚;;一种利用对等网络技术提高医学影像传输速度的方法[J];医疗卫生装备;2010年09期

4 蒲倩妮;范明钰;;基于状态转移相似性的P2P僵尸网络检测方法[J];计算机安全;2011年05期

5 李治军;廖明宏;;对等网络信任管理的函数分析[J];哈尔滨工业大学学报;2007年12期

6 卢佳,宋培义;基于P2P的电子商务应用模式探讨[J];北京广播学院学报(自然科学版);2004年02期

7 夏琪,汪为农,杨瑞君;对等网络中分布式查找算法的分析比较[J];上海交通大学学报;2005年S1期

8 董晓健;王银江;周强;凌力;;基于对等网络的流媒体点播系统的研究与实现[J];计算机应用与软件;2006年04期

9 宋伟;卢正鼎;李瑞轩;於光灿;;一种Peer-to-Peer环境下的综合信任模型[J];小型微型计算机系统;2006年05期

10 张亮;邹福泰;张文举;马范援;;基于社区的对等网络信息检索[J];上海交通大学学报;2006年05期

相关会议论文 前10条

1 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

2 任潇;董剑;刘宏伟;李洋;杨孝宗;;对等网络中基于失效规律的自适应失效检测器研究[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年

3 韩丽;雷振明;;对等网络的资源查找机制[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年

4 辛颖;于守健;乐嘉锦;;对等网络中基于DHT的Web服务发现[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

5 余智华;;Peer-to-Peer网络中的信任模型与恶意行为分析[A];全国网络与信息安全技术研讨会'2005论文集（上册）[C];2005年

6 励铮;李卫明;;基于对等网络的公共密钥基础设施信任模型[A];浙江省电子学会第七次会员代表大会暨2007学术年会论文集[C];2007年

7 张常有;秦晓静;李文清;曹元大;;一种面向对等网络的Web服务快速查找算法[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年

8 徐玉强;李德忠;李祖枢;;对等网在中小型连锁超市POS管理系统应用中的研究[A];1999年中国智能自动化学术会议论文集（下册）[C];1999年

9 龚尚福;朱宇;李占利;;大型综合类数字图书馆解决方案[A];第十四届全国煤矿自动化学术年会暨中国煤炭学会自动化专业委员会学术会议论文集[C];2004年

10 梁克;;对等网络技术的研究[A];江苏省通信学会2004年学术年会论文集[C];2004年

相关重要报纸文章 前10条

1 刘宇红;利用SBS改造对等网络[N];中国计算机报;2001年

2 伍班权;对等网络(P2P)的三大应用[N];计算机世界;2002年

3 ;竞开协同之星(GK-Star)独特的网络技术架构 扩展对等网络[N];中国计算机报;2004年

4 上海交通大学金桥网络工程中心 李振武 白英彩;影响Internet未来的对等网络(P2P)[N];计算机世界;2002年

5 四川 李定川;建立Win2000对等网络[N];电脑报;2003年

6 朱冰;HP无线打印缔造企业办公室的自由国度[N];中国高新技术产业导报;2005年

7 ;存储2.0时代渐行渐近[N];网络世界;2007年

8 ;Web2.0的典型应用[N];人民邮电;2008年

9 本报记者 姜波;P2P，迈进企业的未来[N];网络世界;2001年

10 黄言;联想服务器护航CDN网络大提速[N];中国企业报;2008年

相关博士学位论文 前10条

1 彭浩;复杂对等网络系统中安全机制的研究[D];上海交通大学;2012年

2 陈汉华;基于对等网络的大规模内容检索研究[D];华中科技大学;2010年

3 姚宏;面向异构应用的对等网络平台关键技术研究[D];华中科技大学;2010年

4 陈汉华;基于对等网络的大地规模内容检索研究[D];华中科技大学;2010年

5 谭云松;对等网络资源管理机制研究[D];华中科技大学;2012年

6 高国强;对等网络分布式缓存机制研究[D];华中科技大学;2011年

7 胡q

本文编号：2667898