云存储系统的关键技术的开发研究

发布时间：2017-03-16 22:01

  本文关键词：云存储系统的关键技术的开发研究，由笔耕文化传播整理发布。

【摘要】：随着时代的发展和科技的不断进步,最近十年中,全球文件资源总量呈现爆发式的增长。为了解决海量用户文件的存储问题,以网盘为代表的云存储技术应运而生。目前互联网上有许多网盘,而各类网盘由于当初设计存在问题,因此普遍面临着系统资源浪费、可靠性低、文件上传与下载效率不高、缺乏区分度的窘况。笔者通过在实习公司参与云存储开发项目,采用技术手段替换掉公司原有的FTP存储方式,以期实现更快速率、更安全、更贴近用户的云存储系统。为此本文完成了基于FastDFS分布式文件系统的总体框架设计,对该系统中的各个核心功能模块进行了设计和实现,最终完成了整个系统的整合与优化。本文研究的主要工作有：1.实现庞大规模数据文件的管理：采取分布式文件系统FastDFS来解决海量数据文件的管理难题。2.完整的业务逻辑的实现：构建出web service server层,以实现用户的私人账户安全、虚拟目录映射管理、前后台数据交互等功能。3.确保用户上传和下载文件的正确性：采用文件校验策略来解决这个问题。4.系统性能优化：采用文件去重技术、文件秒传机制、文件分块上传和合并下载技术来攻克这一难关。同时本文中对文件去重技术和文件上传和下载进行了优化。本文研究的成果经过验证符合项目预期的要求,对云存储文件上传、下载效率的优化可以有效的提升用户体验。大文件去重机制可以有效的节约存储资源,同时由此引出的文件秒传机制极大的缩短了用户上传文件的时间。提升了用户的良好体验度的同时,也可以带来更多的盈利空间。
【关键词】：云存储 FastDFS 分块上传 合并下载 文件去重 文件秒传
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 绪论9-14
• 1.1 研究背景9-11
• 1.2 研究现状11-12
• 1.3 研究内容12-13
• 1.4 论文结构13-14
• 第二章 相关技术基础14-26
• 2.1 分布式文件系统与本地文件系统的区别14
• 2.2 FastDFS简介14-17
• 2.2.1 FastDFS概述14-15
• 2.2.2 FastDFS架构分析15-16
• 2.2.3 FastDFS的优势16-17
• 2.3 消息摘要算法和安全哈希算法17-25
• 2.3.1 MD5算法17-22
• 2.3.2 SHA-1算法22-24
• 2.3.3 SHA-1与MD5的对比24-25
• 2.4 本章小结25-26
• 第三章 基于FastDFS的云网盘系统的设计26-42
• 3.1 总体设计框架26-27
• 3.2 FastDFS的设计27-35
• 3.2.1 文件数据的管理27-29
• 3.2.2 文件上传与下载29-34
• 3.2.3 文件去重与文件秒传34-35
• 3.3 web service层的设计35-40
• 3.3.1 web service层的作用35
• 3.3.2 RESTful API设计35-36
• 3.3.3 目录映射管理36-37
• 3.3.4 token身份校验机制37-40
• 3.4 本章小结40-42
• 第四章 系统性能优化42-54
• 4.1 更优的文件上传和下载策略42-48
• 4.1.1 文件的分块43
• 4.1.2 分块文件的上传43-45
• 4.1.3 分块文件的合并下载45-47
• 4.1.4 性能分析47-48
• 4.2 文件去重效率优化48-51
• 4.3 文件上传和下载的优化51-53
• 4.4 本章小结53-54
• 第五章 性能测试与评价54-60
• 5.1 文件校验码计算的性能测试54-55
• 5.2 文件上传和下载的性能测试55-57
• 5.3 文件去重的性能测试57-59
• 5.4 本章小结59-60
• 第六章 总结与展望60-62
• 6.1 论文工作总结60
• 6.2 展望60-62
• 参考文献62-65
• 致谢65

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 王福伟;列存储系统的数据安全与网络性能优化模型研究[D];燕山大学;2016年

3 张菁;大规模分布式纠删码存储系统中的高效数据传输技术研究[D];国防科学技术大学;2015年

4 沈志荣;纠删码存储系统性能优化研究[D];清华大学;2015年

5 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

6 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

7 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

8 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

9 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

10 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 俞新杰;跨数据中心容错的云存储系统[D];浙江大学;2016年

3 王振升;可重构堆叠存储系统的设计及实现研究[D];太原理工大学;2016年

4 王海群;面向数字社区的云存储系统的研究与实现[D];中国海洋大学;2015年

5 范海震;基于Linux的MPEG-4图像压缩存储系统[D];西安电子科技大学;2008年

6 陈运海;编码容错的云存储系统与性能优化[D];南京大学;2013年

7 卢义婉;基于网络编码的云存储系统中负载均衡技术研究[D];南京大学;2013年

8 王谦;云存储系统基于属性的数据访问控制研究[D];江苏大学;2016年

9 蔡京津;基于Orleans的块存储系统的设计与实现[D];吉林大学;2016年

10 王丹丹;数字射频存储系统中高速DAC电路的设计与实现[D];燕山大学;2016年

  本文关键词：云存储系统的关键技术的开发研究，由笔耕文化传播整理发布。

，

本文编号：252353