基于TFS的分布式文件存储平台研究与实现

发布时间：2017-04-06 18:09

  本文关键词：基于TFS的分布式文件存储平台研究与实现，，由笔耕文化传播整理发布。

【摘要】：随着互联网的迅猛发展,以文本、音频、图片等数据为代表的非结构化数据呈现爆炸式增长,面对这个问题,分布式文件存储技术应运而生。淘宝自行研发文件的存储框架(TFS),其高效率、高容错性、高并发性使得它能够处理海量的小文件存储。但是分布式文件存储系统搭建,存在浪费时间、金钱和精力的问题,不能适应现在高速发展的互联网行业。因此本课题以TFS文件存储为基础,研究并实现了一个稳定、高效、安全的分布式文件存储平台,给第三方应用提供稳定的存储服务,具有重要的应用价值。主要工作如下:首先,针对现在海量小文件存储中遇到的问题,提出了基于TFS的分布式文件存储解决方案,并设计了高效的分布式存储体系,主要包括平台Web端、核心数据缓存集群、文件管理服务集群、数据库和TFS数据存储集群。其次,提出了支持事务的文件存储模型TSP(File Storage Platform),该模型由底向上分为TFS数据存储层、文件管理层和访问接口层。事务操作由上到下映射到TFS数据存储层,从而保证了文件数据的完整性。再次,根据平台的分布式的特性,采用了对等服务器的模式,设计了系统的整体框架,使用了加权轮询算法实现负载均衡,为提高系统访问速度,利用了缓存为核心的数据访问方式,并以Memcached缓存搭建了核心缓存服务。最后,实现了基于TFS的文件存储平台,不仅方便了用户管理自己的文件,同时系统提供文件操作的API,为第三方应用提供文件存储服务。
【关键词】：分布式系统 文件存储 TFS
【学位授予单位】：河北工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-6
• abstract6-10
• 第一章 绪论10-15
• 1.1 研究背景及意义10
• 1.2 国内外现状10-13
• 1.3 本文主要内容13
• 1.4 论文的内容结构13-15
• 第二章 TFS的文件存储技术的研究15-19
• 2.1TFS文件存储的架构的研究15-16
• 2.2 TFS存储机制的研究16-17
• 2.3 容错机制17-18
• 2.3.1 集群容错17-18
• 2.3.2 NameServer容错18
• 2.3.3 DataServer容错18
• 2.4 本章小结18-19
• 第三章 支持事务存储模型的研究19-25
• 3.1 层次存储结构模型19-20
• 3.2 TFS数据存储层20
• 3.3 文件管理层20-23
• 3.3.1 基本文件模型21
• 3.3.2 支持属性信息的文件模型21-22
• 3.3.3 目录结构文件模型22-23
• 3.4 访问接口层23
• 3.5 模型分析23-24
• 3.5.1 事务能力分析23-24
• 3.5.2 性能分析24
• 3.5.3 适应性分析24
• 3.6 本章小结24-25
• 第四章 系统分析与设计25-48
• 4.1 系统概述25
• 4.2 系统需求分析25-27
• 4.2.1 非功能性需求25-26
• 4.2.2 功能性需求26-27
• 4.3 系统架构设计27-31
• 4.3.1 服务器模式的设计27
• 4.3.2 数据访问方式设计27-29
• 4.3.3 文件存储平台整体架构29-31
• 4.4 平台Web端设计31-37
• 4.4.1 文件管理31-35
• 4.4.2 应用管理模块35-37
• 4.5 数据库的设计37-38
• 4.6 文件管理服务集群负载均衡设计38-40
• 4.7 缓存服务的设计40-42
• 4.7.1 缓存技术的研究40-41
• 4.7.2 平台缓存数据的一致性41-42
• 4.8 文件操作API42-46
• 4.8.1 配置文件43-44
• 4.8.2 文件操作类44-46
• 4.9 本章小结46-48
• 第五章 平台的实现与应用48-54
• 5.1 文件存储平台的部署48
• 5.2 平台WEB端主要实现48-52
• 5.2.1 文件管理的实现49-50
• 5.2.2 应用管理模块的实现50-52
• 5.3 平台功能测试52-53
• 5.4 本章小结53-54
• 第六章结论54-56
• 6.1 总结54-55
• 6.2 进一步工作及展望55-56
• 参考文献56-58
• 致谢58-59

【相似文献】

中国期刊全文数据库 前10条

1 邓晶京;;基于电子文件的文档服务新发展[J];兰台世界;2012年S3期

2 况昶;转移Windows NT Server的快速方法[J];微计算机应用;1999年01期

3 陈冀康;服务器,向中央集中[J];软件世界;2005年11期

4 曼努埃尔·巴斯克斯,何嘉荪;文件生命周期的精确期限[J];北京档案;1997年03期

5 刘庆泰,王京太;天气预报文件服务系统[J];气象科技;1997年03期

6 ;东芝整合文件服务打造行业先驱[J];创业邦;2010年09期

7 韦勇桃;;东方通文件服务平台 助推保险业数据整合[J];金融电子化;2013年09期

8 尹卫国;;开放文件彰显政府自信[J];世纪行;2003年08期

9 冰原;;上下扩展——博科发布两个解决方案[J];每周电脑报;2005年25期

10 冰海;;NDS-Ⅱ/VAX LINK软件浅介[J];微计算机信息;1985年02期

中国重要报纸全文数据库 前10条

1 杨镇全;利川市文件服务中心向市民开放[N];中国档案报;2003年

2 孙红英;解惑FAN[N];网络世界;2007年

3 ;WAFS应用渐成气候[N];计算机世界;2005年

4 本报记者 张峰;广域文件 高速连接[N];网络世界;2005年

5 陈志鹏;衡阳档案馆集体中开放中央八个“一号文件”[N];中国档案报;2006年

6 郭涛;子公司如何远程共享文件[N];中国计算机报;2005年

7 张峰;博科长出了翅膀[N];网络世界;2007年

8 郭涛;文件访问速度从40秒降到2秒[N];中国计算机报;2005年

9 《网络世界》评测实验室 何进伟;畅通高速文件应用[N];网络世界;2002年

10 本报记者 张楠;清华学子的文件服务外包管理之路[N];中国计算机报;2009年

中国硕士学位论文全文数据库 前6条

1 翟猛;基于TFS的分布式文件存储平台研究与实现[D];河北工业大学;2015年

2 肖文;基于Web Service的分布式文件服务系统[D];浙江大学;2004年

3 居姗;电子文件分类与解密关键技术研究[D];上海交通大学;2007年

4 王婧;改进型RBAC模型在网络文件服务系统研究与应用[D];北京邮电大学;2010年

5 汪野;基于规则的广域网文件服务[D];华中科技大学;2008年

6 黄维丰;DWG文件离线浏览ActiveX控件研究[D];南京航空航天大学;2003年

  本文关键词：基于TFS的分布式文件存储平台研究与实现，由笔耕文化传播整理发布。

本文编号：289379