面向Internet的大规模分布式存储技术研究

发布时间：2020-05-28 08:23

【摘要】：随着计算机技术的不断进步和Internet的飞速发展,在各种应用需求的推动下,分布式存储技术取得了长足的进步。同时,日益增加的用户数量,越来越大的数据存储量要求,越来越广阔的数据分布范围,越来越高的数据可靠性要求,越来越丰富的数据来源,也给分布式存储技术带来了新的挑战。如何在高动态的网络环境中构建大规模、高性能、高可靠、可扩展的面向Internet的分布式海量存储系统,是分布式存储技术亟待解决的问题。 本文在对分布式存储领域的最新研究成果进行了系统、全面的学习和总结的基础上,针对面向Internet的大规模分布式存储技术,进行了深入细致地研究,取得了若干创新和成果。 本文的主要创新点包括: 1.设计了一个基于P2P的Internet海量存储系统——π-Store。π-Store采用高可扩展的P2P体系结构,将大量分散的节点组织成一个逻辑网络,构建面向Internet的大规模分布式存储系统。π-Store采用高效的P2P路由机制、优化的数据容错策略、动态自适应的副本管理以及并行传输机制为用户提供高效、可靠的分布式海量存储服务。 2.提出了一种新的分布式结构化P2P路由算法——π-Route。π-Route对Pastry的路由表维护算法做出了改进,提出了一种新的路由表维护算法“LD-PNS”,通过动态优化节点上保存的路由表表项内容,达到减小路由延迟、提高文件访问性能的目的。π-Route通过为文件副本引入“代理节点”,使得文件副本的存放位置不再受文件标识符的限制,可以在系统中自由迁移,与FSRM机制结合,可以大大减少系统网络开销,提高文件访问性能。 3.提出了一种新的分布式协作冗余复制机制—DCR~2。DCR~2结合了完全复制和XOR校验的方法,将分布在不同机器上的多个文件通过相互之间的校验文件联系起来,通过多个文件相互协作,提高了单个文件及一组文件的整体容错性能。 4.提出了一种基于访问频率的分布式自适应动态副本管理机制—
【图文】：

向自己的邻居转发，直到查询包的TTL(TimeToLiv(:)计数器减为0为止。如果发起查询的节点成功地收到返回的响应包，则直接与目标节点建立连接，下图2一3Gnutella查询过程

中一个文件可能有多个副本，，故元数据中还需保存指向其他文件副本节点的指针。图2一10显示了文件标识符为flieID的实体文件和它的元数据结构。这种文件元数据结构实现了同一个flieID对不同共享权限、不同文件属主文件的映射，最大程度的分离了文件内容和其他文件属性之间的联系，可以方便的实现按文件属主、文件名的查找，为文件管理带来了很大的自由度。.t且心L砚U砚L砚图2一10二一Soter中的元数据及各类副本通过一个例子来说明flieID、文件元数据和实体文件之间关系:设用户A以共享的方式第一次将一个文件f保存到系统中，系统为f生成一个flidD，并
【学位授予单位】：电子科技大学
【学位级别】：博士
【学位授予年份】：2004
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 钱宁;胡永东;吴国新;;P2P网络资源搜索中的用户行为模型[J];东南大学学报(自然科学版);2011年04期

2 李超;黄桂敏;宾辰忠;;一种基于改进LRU的P2P缓存机制[J];桂林电子科技大学学报;2011年03期

3 刘义春;张焕国;;基于Bayesian信任网络的P2P访问控制[J];小型微型计算机系统;2011年06期

4 孙宁青;;Kad点对点网络中最佳结点标识选取研究[J];微电子学与计算机;2011年08期

5 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期

6 赵新慧;冯锡炜;石元博;;基于兴趣域中心节点的P2P网络拓扑[J];科学技术与工程;2011年21期

7 朱涵青;陈财兴;何武;颜计琳;樊亦杰;;基于P2P的校园盘系统的设计与实现[J];科技信息;2011年15期

8 赵新慧;;基于节点兴趣的非结构化P2P自动搜索机制[J];科学技术与工程;2011年18期

9 张付仁;;P2P网络中流行文件的传播模型研究[J];计算机工程;2011年18期

10 陈作汉;任旭鹏;卢鹏丽;;直接评价节点诚信度的P2P动态信任模型[J];计算机工程与设计;2011年07期

相关会议论文 前10条

1 程果;陈荦;景宁;赵亮;左怀玉;;一种遥感影像的层次化组织分布式存储管理方法[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

2 刘义铭;李恺;邱敏;;P2P网络信任模型的研究[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

3 蓝慧琴;钟诚;李智;;一种改进的基于连通支配集的P2P搜索算法[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

4 王雪萍;杨青;黄祖锋;;P2P网络中基于蚁群算法的智能搜索研究[A];2006全国复杂网络学术会议论文集[C];2006年

5 杨柳;钟诚;陆向艳;;基于P2P网络的分布式聚类算法研究分析[A];2009年全国开放式分布与并行计算机学术会议论文集(上册)[C];2009年

6 龚尚福;朱宇;李占利;;大型综合类数字图书馆解决方案[A];第十四届全国煤矿自动化学术年会暨中国煤炭学会自动化专业委员会学术会议论文集[C];2004年

7 谢静;顾乃杰;田舟贤;何颂颂;;基于资源密度与节点管理的P2P随机搜索算法设计[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年

8 张晓玲;钟诚;李智;李锦;张尊国;;基于反馈选择的P2P网络搜索算法[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年

9 汤克明;王创伟;陈];;P2P模拟器的比较研究[A];2008年全国开放式分布与并行计算机学术会议论文集(上册)[C];2008年

10 李刚;李季;;基于加权信任向量的混合结构式P2P网络信任模型[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年

相关重要报纸文章 前10条

1 雪晴;冷静看待P2P[N];中国计算机报;2001年

2 美国《Network World》专栏作家Frank Dzubeck;企业P2P应用起步[N];网络世界;2005年

3 朱新亚;SIP携手P2P技术创造奇迹[N];中国计算机报;2005年

4 本报记者 于翔;企业P2P 飞越迷雾[N];网络世界;2005年

5 ;存储2.0时代渐行渐近[N];网络世界;2007年

6 黄言;联想服务器护航CDN网络大提速[N];中国企业报;2008年

7 林中祥;P2P共享下载三合一软件：Shareaza[N];江苏经济报;2003年

8 徐海斌;P2P共享下载三合一[N];中国电脑教育报;2003年

9 山东胶南张家楼教委 杨维春;数字图书馆的待解难题[N];中国电脑教育报;2006年

10 刘学习;存储技术往哪儿走？[N];计算机世界;2007年

相关博士学位论文 前10条

1 周旭;面向Internet的大规模分布式存储技术研究[D];电子科技大学;2004年

2 侯孟书;基于P2P的分布式存储及其相关技术研究[D];电子科技大学;2005年

3 胡q

本文编号：2684977