基于NFS的云存储网关关键技术研究及系统实现

发布时间：2017-10-14 06:20

  本文关键词：基于NFS的云存储网关关键技术研究及系统实现

  更多相关文章： 云存储 云存储网关 网络文件系统 缓存 大文件

【摘要】：云存储是解决传统应用在数据增长背景下存储扩容需求最有效的方式之一。云存储网关通过协议转换的方式屏蔽云存储接口和传统存储协议接口之间的巨大差异。但是行业内现有的云存储网关存在传统存储协议支持不完整,响应时间过长,以及不兼容多种云存储的问题。针对以上问题,本文对云存储网关中的关键技术进行研究,提出相应的解决方案,构建一套基于NFS的云存储网关系统。针对传统存储协议支持不完整的问题,提出保留实体文件目录的方法。避免使用虚拟文件导致无法支持特殊文件和复杂操作的结果,实现对传统存储协议的完整支持。针对响应时间过长的问题,提出大文件分割的方法来降低最大响应时间,同时提出Hybrid改进算法并运用到缓存中来改善平均响应时间,最后将两种方法结合起来,将响应时间控制在合理的范围内。针对不兼容多种云存储的问题,在云存储网关架构上增加云存储访问统一接口,集中解决多种云存储兼容问题。提出针对云存储网关的云存储访问标准接口,屏蔽云存储接口的异构,实现多种云存储的无缝兼容。本文构建了一个完整的云存储网关系统,包括NFS服务器、大文件适配模块、缓存管理器、云存储访问统一接口等模块。在模块设计及实现过程中运用上述提出的方法,针对性地解决云存储网关现有的问题。本文对构建的云存储网关系统进行测试,测试结果表明,在牺牲少量原生NFS服务器性能的前提下,本文提出的方法使得本文提出的云存储网关能够兼容多种云存储、承载传统应用、并降低系统响应时间。
【关键词】：云存储 云存储网关 网络文件系统 缓存 大文件
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-14
• 主要缩写表14-15
• 第一章 绪论15-25
• 1.1 研究背景和意义15-16
• 1.2 网络文件系统16-21
• 1.2.1 网络文件系统的架构17-18
• 1.2.2 原生NFS服务器的架构18-19
• 1.2.3 网络文件系统的使用现状19-21
• 1.3 国内外研究现状及存在的问题21-23
• 1.3.1 云存储网关研究现状21-22
• 1.3.2 存在的问题22-23
• 1.4 本文完成的工作23-24
• 1.5 本文组织架构24-25
• 第二章 云存储网关的总体设计25-34
• 2.1 系统需求分析25-26
• 2.2 整体架构概述26-28
• 2.3 功能模块接口28
• 2.4 模块间交互过程28-31
• 2.4.1 云存储网关本地文件读取28-29
• 2.4.2 云存储文件读取29-30
• 2.4.3 文件迁移30-31
• 2.5 云存储网关对现有问题的解决31-33
• 2.5.1 NFS服务器31-32
• 2.5.2 缓存管理器32
• 2.5.3 大文件适配模块32
• 2.5.4 云存储访问统一接口32-33
• 2.6 本章小结33-34
• 第三章 NFS服务器的设计及实现34-48
• 3.1 NFS服务器的设计34-36
• 3.1.1 NFS服务器架构概述34-35
• 3.1.2 保持文件和目录实体化35-36
• 3.2 NFS服务器的实现36-47
• 3.2.1 信息查询类规程36-39
• 3.2.2 文件属性类规程39-40
• 3.2.3 文件读写类规程40-42
• 3.2.4 新建文件类规程42-43
• 3.2.5 删除文件类规程43-45
• 3.2.6 文件属性变化的连带效应45-47
• 3.3 本章小结47-48
• 第四章 缓存管理器的设计及实现48-59
• 4.1 缓存替换算法的研究48-52
• 4.1.1 缓存替换算法的评价标准48-49
• 4.1.2 常用缓存替换算法49-51
• 4.1.3 常用替换算法的仿真与结果分析51-52
• 4.2 基于Hybrid算法的改进算法研究与设计52-55
• 4.2.1 Hybrid算法的缺陷52-53
• 4.2.2 Hybrid改进算法研究与设计53-54
• 4.2.3 Hybrid改进算法的仿真与结果分析54-55
• 4.3 缓存管理器的实现55-58
• 4.3.1 缓存管理器的需求分析55
• 4.3.2 缓存管理器的实现55-57
• 4.3.3 缓存管理器与NFS服务器协同工作57-58
• 4.4 本章小结58-59
• 第五章 云存储网关其余模块的设计及实现59-70
• 5.1 云存储访问统一接口的设计及实现59-62
• 5.1.1 云存储接口的异构59-60
• 5.1.2 云存储访问统一接口需求分析60
• 5.1.3 云存储访问统一接口的实现60-62
• 5.2 大文件适配模块的设计及实现62-64
• 5.2.1 云存储接口方案及其局限性62
• 5.2.2 大文件适配模块的设计62-63
• 5.2.3 大文件适配模块的实现63-64
• 5.2.4 大文件适配模块的局限64
• 5.3 文件元数据管理模块的设计及实现64-69
• 5.3.1 文件元数据表的设计65-68
• 5.3.2 内存缓存68-69
• 5.4 本章小结69-70
• 第六章 系统测试70-81
• 6.1 测试环境70-72
• 6.2 系统测试与结果分析72-80
• 6.2.1 多种云存储兼容性测试72-73
• 6.2.2 传统应用承载测试73-74
• 6.2.3 大文件读取测试74-76
• 6.2.4 缓存效果测试76-78
• 6.2.5 云存储网关与原生NFS服务器的对比测试78-80
• 6.3 本章小结80-81
• 总结与展望81-83
• 参考文献83-86
• 攻读硕士学位期间取得的研究成果86-87
• 致谢87-88
• 附件88

【参考文献】

中国期刊全文数据库 前10条

1 徐建;;基于Linux平台的邮件系统的设计与实现[J];湖北民族学院学报(自然科学版);2011年01期

2 张震波;杨鹤标;马振华;;基于LRU算法的Web系统缓存机制[J];计算机工程;2006年19期

3 石磊;叶海琴;卫琳;连卫民;;Web缓存命中率与字节命中率关系[J];计算机工程;2007年13期

4 刘贝;汤斌;;云存储原理及发展趋势[J];科技信息;2011年05期

5 王冬;王超;韩永;肖卓;;iSCSI与NFS的协议开销对比[J];计算机工程与应用;2012年36期

6 瑛宣;;Linux下NFS(网络文件系统)的建立与配置方法[J];计算机与网络;2013年21期

7 魏凯;;大数据的技术挑战及发展趋势[J];信息通信技术;2013年06期

8 贺琛,陈肇雄,黄河燕;Web缓存技术综述[J];小型微型计算机系统;2004年05期

9 周可;王桦;李春花;;云存储技术及其应用[J];中兴通讯技术;2010年04期

10 朱敏;;Windows变慢原因的分析和解决方法[J];计算机系统应用;2006年04期

中国博士学位论文全文数据库 前1条

1 刘军平;磁盘存储系统可靠性技术研究[D];华中科技大学;2011年

中国硕士学位论文全文数据库 前5条

1 张佳;基于NFS的云存储网关的研究[D];电子科技大学;2010年

2 高磊;分布式云存储网关的设计与实现[D];电子科技大学;2012年

3 杨丽丽;云存储网关的研究与实现[D];华中科技大学;2013年

4 钱文;基于用户空间的云网关网络文件系统设计与实现[D];华中科技大学;2013年

5 夏桂丹;云存储网关协议适配和缓存管理的研究[D];华中科技大学;2013年

，

本文编号：1029478