IND集群存储系统的文件路由表技术研究

发布时间：2017-08-04 11:15

  本文关键词：IND集群存储系统的文件路由表技术研究

  更多相关文章： 智能网络磁盘 IND 集群存储系统 节点 文件路由表 FRT 一致性

【摘要】：进入21世纪以来，随着互联网技术的快速发展，网络上的信息量已经呈爆炸式的增长趋势，数据信息量已经从PB级扩展到了ZB级；据IDC最新估计，2015年全世界的数据信息量将达到8ZB。传统的存储体系结构已经越来越不能满足快速增长的海量数据存储需求，同时也面临着存储的实时性、可靠性和容错性等各方面的技术挑战；因此，研究新型的海量网络存储系统有重要的现实意义。 目前主流的存储体系结构有直接附属存储（Direct Attached Storage，DAS）、网络附加存储（Network Attached Storage，NAS）和存储区域网（Storage Attached Network，SAN）三种结构，但这三种存储结构都存在着某些不足之处，基于此，近年来作者实验室课题组提出了一种新型的分布式存储系统结构，即：智能网络磁盘（Intelligent NetworkDisk，IND）集群存储系统，IND集群存储系统在海量数据存储的实时性、可扩展性和可靠性等方面均有较好的性能，特别是在自动负载平衡的智能性方面有性能优势。 在IND集群存储系统中，，由于不像其它存储系统一样有专门的元数据服务器，所以在各IND节点上都设有一张文件路由表（File Route Table，FRT）来映射全部文件所在的物理存储位置。当客户端想要访问IND集群存储系统中的文件数据时，首先必须查询IND节点上的FRT表，然后将从FRT表中查到的文件数据所在IND节点反馈给客户端，最后再由客户端去访问相应IND节点上的文件数据。为了保证各IND节点上的文件路由表内容的一致性，当该IND节点被访问并且文件路由表进行了修改或者添加了新的文件记录时，则必须将更新后的FRT表的内容广播到其他IND节点，使其他IND节点的FRT表内容得到相应的更新，这样可以维持各IND节点上FRT表内容的一致性。 本文重点对IND集群存储系统的文件路由表（FRT）的结构和怎样提高FRT表的查询效率以及如何维护各IND节点上FRT表的一致性等问题进行了比较深入的研究，论文作者所做的研究工作有以下几个方面： 1.分析和研究了IND集群存储系统的特点，提出了一种能够适应于IND集群存储系统的文件路由表（FRT）结构； 2.提出了一种基于S-LRU算法的有向图分组文件预测方法，该方法能够有效地提高FRT表的查询效率； 3.提出了一种基于动态主节点的FRT表一致性更新算法，该算法在FRT表更新过程中，能够最大限度的降低消息冗余度和提升系统的性能，同时也较好地维护了各IND节点上FRT表内容的一致性。
【关键词】：智能网络磁盘 IND 集群存储系统 节点 文件路由表 FRT 一致性
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要5-7
• ABSTRACT7-12
• 第一章 绪论12-26
• 1.1 研究背景和意义12-13
• 1.2 网络存储技术现状13-18
• 1.2.1 直接附属存储（DAS）13-14
• 1.2.2 网络附属存储（NAS）14-16
• 1.2.3 存储区域网络（SAN）16-17
• 1.2.4 各存储系统间优缺点比较17-18
• 1.3 存储技术的发展趋势18-21
• 1.3.1 IP-SAN 存储技术18-19
• 1.3.2 基于 InfiniBand 的存储系统19-20
• 1.3.3 云存储技术20-21
• 1.4 分布式文件系统元数据服务模型21-24
• 1.4.1 集中式元数据服务模型21-22
• 1.4.2 分布式元数据服务模型22-23
• 1.4.3 无元数据服务模型23-24
• 1.5 本文主要研究工作24-25
• 1.6 论文的组织结构及内容安排25-26
• 第二章 智能网络磁盘集群存储系统26-33
• 2.1 智能网络磁盘(IND)集群存储系统的体系结构26-29
• 2.1.1 客户端27-28
• 2.1.2 安全认证与配置服务器28
• 2.1.3 IND 节点28-29
• 2.2 文件路由表(FRT)29-32
• 2.2.1 FRT 表的物理存储方式及内存调度方法30-31
• 2.2.2 IND 节点之间 FRT 表的一致性更新31-32
• 2.3 本章小结32-33
• 第三章 基于 S-LRU 算法的有向图分组文件预测方法33-48
• 3.1 各类内存调度算法33-35
• 3.1.1 先进先出策略33
• 3.1.2 基于访问时间策略33-34
• 3.1.3 基于访问频率策略34
• 3.1.4 基于访问时间和频率策略34-35
• 3.2 S-LRU 内存调度模块35-38
• 3.2.1 S-LRU 算法原理35-36
• 3.2.2 S-LRU 算法公式36-38
• 3.3 基于有向图的分组文件预测模块38-47
• 3.3.1 有向图分组文件预测模块系统框架39-41
• 3.3.2 有向图分组文件预测模块处理流程41-44
• 3.3.3 文件路由缓存表的数据结构44-45
• 3.3.4 分组文件记录的换入换出45-47
• 3.3.5 分组索引表47
• 3.4 本章小结47-48
• 第四章 基于动态主节点的 FRT 表一致性更新算法48-56
• 4.1 一致性更新算法48-50
• 4.1.1 基于泛洪的一致性更新算法48-49
• 4.1.2 基于概率的一致性更新算法49
• 4.1.3 基于轨迹标签的一致性更新算法49-50
• 4.2 基于动态主节点的 FRT 表一致性更新算法50-55
• 4.2.1 动态主节点的选举流程51-53
• 4.2.2 消息更新机制53-54
• 4.2.3 IND 节点心跳机制54-55
• 4.3 本章小结55-56
• 第五章 算法性能测试与结果分析56-61
• 5.1 测试环境与数据集的选取56-57
• 5.1.1 测试软硬件环境56
• 5.1.2 测试数据集56-57
• 5.2 基于 S-LRU 算法的有向图分组文件预测方法测试与分析57-59
• 5.2.1 S-LRU 算法的性能测试57
• 5.2.2 基于 S-LRU 算法的有向图分组文件预测方法57-59
• 5.3 基于动态主节点的 FRT 表一致性更新算法59-60
• 5.4 本章小结60-61
• 总结61-63
• 参考文献63-68
• 致谢68-69
• 附件69

【参考文献】

中国期刊全文数据库 前10条

1 樊里略;苏文莉;陈佳;;一种基于文件路由表的移动P2P文件共享系统[J];湖南师范大学自然科学学报;2012年01期

2 窦文,王怀民,贾焰,邹鹏;模拟谣言传播机制的无结构P2P网络中广播机制的研究[J];计算机研究与发展;2004年09期

3 刘爱贵;陈刚;;一种基于用户的LNS文件预测模型[J];计算机工程与应用;2007年29期

4 李占胜;毕会娟;李艳平;张立松;;一种对LRFU置换策略的自适应改进[J];计算机工程与应用;2008年17期

5 赵跃龙;戴祖雄;王志刚;杨希;;一种智能网络磁盘(IND)存储系统结构[J];计算机学报;2008年05期

6 张玲玲;高林娥;;FIFO页面置换算法的实现以及异常问题的讨论[J];科技情报开发与经济;2010年13期

7 谢鲲;张大方;谢高岗;文吉刚;;基于轨迹标签的无结构P2P副本一致性维护算法[J];软件学报;2007年01期

8 余秦勇;陈林;童斌;;一种无中心的云存储架构分析[J];通信技术;2012年08期

9 王文丰;赵跃龙;曾文英;余斌;;一种网络存储技术新方案——智能网络磁盘集群存储系统[J];小型微型计算机系统;2008年07期

10 周可;王桦;李春花;;云存储技术及其应用[J];中兴通讯技术;2010年04期

本文编号：619236