大小文件跨网络集群快速迁移协议

发布时间：2017-09-14 12:37

  本文关键词：大小文件跨网络集群快速迁移协议

  更多相关文章： 网络通信 海量数据 分布式 文件系统

【摘要】：近几年来,计算机科学技术和网络技术快速发展,产生了大量的数据,并且产生数据的速度也在快速增长,经过长年积累,系统后台留下了海量数据。这对传统的数据处理形式提出了挑战,数据的多节点复制同步和迁移成为了一个重要的问题。由于网络的异构性和网络相关的应用多样性的特点,最终在硬盘上形成的数据文件数量巨大,这些数据文件进行同步复制和迁移到不同的处理节点上的效率在很大程度上限制了数据处理任务的总体进度。现有的文件数据迁移处理方法一般是通过差异传输方式减少数据量,通过压缩技术来减少传输量,通过一些加密措施来保证传输安全性,并且一般通过B/S的结构来实现文件传输服务。传统的处理方式缺少有效的针对传输过程的速度优化方式,特别是在最终的待传输数据的处理上,缺少高效的大规模传播策略和措施,本协议的设计将针对最终数据的传输过程进行改进和优化,通过分布式自主协商的算法和流程设计,实现动态源节点扩张机制,通过自动协商选举机制实现区域自治管理,通过集群代理角色机制实现数据的跨公网多集群间进行同步和迁移。这些过程实现大量的不同类型的数据文件在多个集群之间进行快速同步和迁移,提高各节点上的带宽利用率。由于存在分布式协商,会有的额外开销的代价,但是当待传输的数据量巨大,以及待传输节点的规模巨大时,能够很好的表现出该协议在性能和效率上有较大改进和提升。该课题的研究内容是在常见分布式文件系统理论基础上,研究和设计新的分布式文件传输框架和协议以及协议中的分布式协商和传输算法。使之在复杂的网络结构下自适应和弹性扩张,实现集群内部同步,集群间同步以及单点对集群的跨网同步效率的提升。本文首先对协议进行设计与实现,然后在实验环节通过与几个主流使用的传输协议进行性能上的对比测试,来验证协议在性能效率上有较大的改进和提升。
【关键词】：网络通信 海量数据 分布式 文件系统
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.04
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 绪论10-14
• 1.1 课题的背景与意义10-11
• 1.2 国内外研究现状11-12
• 1.3 主要工作12-13
• 1.4 本文的章节安排13-14
• 第二章 相关技术介绍与研究14-18
• 2.1 分布式文件系统介绍14-15
• 2.2 常用网络文件传输协议介绍15-16
• 2.3 分布式文件系统的可靠性介绍16-17
• 2.4 本章小结17-18
• 第三章 大小文件跨网络集群快速迁移协议的总体设计18-32
• 3.1 总体设计结构概述18-20
• 3.2 协议的主要状态20-21
• 3.3 协议状态转换图21-25
• 3.4 各个模块的设计25-28
• 3.5 角色的分布式选举算法28-30
• 3.6 实现动态传输路径生成算法30-31
• 3.7 本章小结31-32
• 第四章 迁移协议的详细设计与实现32-53
• 4.1 节点角色选举的设计与实现33-39
• 4.2 文件的智能处理的详细设计与实现39-41
• 4.3 数据的传输模块的详细设计与实现41-43
• 4.4 传输任务的控制的设计与实现43-46
• 4.5 提交任务客户端的设计与实现46-51
• 4.6 本章小结51-53
• 第五章 迁移协议的性能测试53-64
• 5.1 迁移协议的测试环境53-55
• 5.2 迁移协议的测试用例55-56
• 5.3 迁移协议的测试过程56-62
• 5.4 迁移协议的测试结果分析及结论总结62-64
• 第六章 大小文件跨网络集群快速迁移协议的应用64-72
• 6.1 网盘数据备份系统的需求分析64-65
• 6.2 网盘数据备份系统设计与实现65-69
• 6.3 网盘备份系统的实际应用69-71
• 6.4 本章小结71-72
• 第七章 总结72-74
• 致谢74-75
• 参考文献75-78

【参考文献】

中国期刊全文数据库 前2条

1 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

2 赵洋;;淘宝TFS深度剖析[J];数字化用户;2013年03期

，

本文编号：850070