基于SeaweedFS的分布式文件管理系统的设计与实现

发布时间：2020-07-24 11:38

【摘要】：21世纪以来,互联网的发展导致数据量飞速增长,这些数据对于企业而言有着莫大的价值,因此如何更好地私有化存储以及管理这些数据就成了很重要的工作。目前云计算技术相当成熟,如阿里云的对象存储技术,直接使用会更方便,但是一些私密的文件存储在云上显然是不合适的。同时在数据呈指数式增长的情况下,单纯通过增加硬盘个数和依托本地操作系统自带的文件系统也无法满足数据存储和管理的需求。因此,本文介绍了自搭建分布式文件系统的设计和实现,为解决私有数据存储容量、数据备份等问题提供折中的解决方案。该系统基于开源的SeaweedFS文件系统,利用了其基本的分布式存储和备份功能。代理模块直接采用Spring Boot来搭建,数据层基于MySQL数据库,Druid作为数据库连接池,同时也带有可选的redis缓存,以加快数据的存取速度和减轻数据库负载。文件系统的管理模块使用MVC的设计思想,前端基于Thymeleaf模板技术,结合Bootstrap框架、jQuery库、AJAX技术实现数据的展示和近实时更新。本文首先阐述了系统涉及的关键技术,包括SeaweedFS文件系统、Spring Boot、Druid连接池、Redis缓存及前端的Thymeleaf模板技术、Bootstrap框架等。然后对系统进行了详细的需求分析与设计,将系统分为文件上传/下载、文件管理、系统管理、文件处理这四个功能模块,并对系统的总体结构、部署架构及数据库表进行了详细设计,也阐述了系统内各模块的设计细节。最后阐述了系统内各功能模块和底层SeaweedFS访问模块的实现和系统的展示效果,以及各模块对核心技术的使用情况。该系统目前处于试用阶段,上游应用正逐步从阿里云OSS存储系统迁移到该分布式文件管理系统。
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52
【图文】：

在该页面中，管理员可以进行添加、修改、删除操作，这几个操作通过Ａｊａｘ逡逑发送异步ＨＴＴＰ请求来完成。服务端提供的相关接口、参数及含义在表４．５中给逡逑出。以添加存储空间为例，界面如图４．１０所示，需要管理员填写的信息是名称逡逑和公开性，这里采用ＪＳＯＮ格式的数据向服务端发送请求，服务端在Ｃｏｎｔｒｏｌｌｅｒ逡逑中通过＠Ｒｅｑｕｅｓ旧ｏｄｙ注解将ＪＳＯＮ格式的数据先组装成特定的对象，之后直逡逑接将对象数据存储到数据层即可，其中需要注意的是，为了防止ＣＳＲＦ攻击，逡逑需要在每次Ａｊａｘ发送请求时在ＲｅｑｕｅｓｔＨｅａｄｅｒ中带入相关ｔｏｋｅｎ。同时为了提逡逑高代码的可复用性

４．２．２文件目录管理逡逑系统也提供了存储空间内部的文件目录管理页面给管理员。文件目录管理的逡逑实现也和存储管理类似，服务端提供的文件管理相关的接口及含义如表４．６所逡逑示。由于上文中己提到上传下载操作，这里不再赘述。逡逑表４．６文件管理相关接口逡逑□名逦｜参数逦丨含义逡逑／ｆｉｌｅ－ｍａｎａｇｅ／ｃｈｉｌｄｒｅｎ逦ｂ邋ｕ邋ｃｋｅｔ邋Ｉｄ，邋ｐａｔｈ，邋ｋｅｙｗｏｒｄ逦获取一个存储空间特定路径逡逑逦特定前缀的文件和文件夹逡逑／ｆｉｌｅ－ｍａｎａｇｅ／ｃｒｅａｔｅＦｏｌｄｅｒｓ逦ｂｕｃｋｅｔｌｄ．ｐａｔｈ逦创建文件夹，类似于“ｍｋｄｉｒ逡逑逦逦逡逑／ｆｉｌｅ－ｍａｎａｇｅ／ｒｅｍｏｖｅＦｉｌｅｓ逦ｆｉｌｅｌｄｓ逦批量删除文件逡逑／ｆｉｌｅ－ｍａｎａｇｅ／ｒｅｍｏｖｅＦｏｌｄｅｒｓ逦ｆｏｌｄｅｒｌｄｓ逦批邋Ｍ删除文件夹，这会删除文逡逑件夹下所布的文件，类似于逡逑＂ｒｍ邋－ｒｆ逡逑从图４．９存储空间首页点击某个存储空间可以进入到该存储空间的内部文逡逑

【相似文献】

相关期刊论文 前10条

1 李菊;;基于设计模式与软件工程的图像文件管理系统探讨[J];电脑知识与技术;2017年07期

2 李晓波;;企业文件管理系统的设计与实现[J];电子测试;2014年04期

3 邓剑文,钟萃相;在线文件管理系统的开发方法[J];计算机与现代化;2004年05期

4 陈国定,李治钧;浅谈CIMS环境下的工艺文件管理系统的开发[J];成组技术与生产现代化;1997年01期

5 杨则正;新的文件管理系统[J];管理科学文摘;1997年03期

6 杨则正;文件管理系统[J];管理科学文摘;1994年11期

7 魏鹰;;虫情数据文件管理系统[J];广西科学院学报;1987年01期

8 张昌达;;光盘在文件管理系统中的作用和发展动向[J];激光与红外;1987年07期

9 陶黎国,竺挺,陈敏贤;一种支持数据、图形、文件管理系统的GM绘图软件包[J];计算机应用研究;1988年02期

10 郑晓风;Novell网络上的生产文件管理系统[J];计算机应用研究;1989年04期

相关会议论文 前4条

1 王同森;;技术文件管理系统的信息化实现[A];中国计量协会冶金分会2016年会论文集[C];2016年

2 张秀芝;林玉祥;侯洪生;;网络化教学文件管理系统的研究与开发[A];中国图学新进展2007——第一届中国图学大会暨第十届华东六省一市工程图学学术年会论文集[C];2007年

3 聂威;刘振元;陈学广;;基于Struts框架的企业文件管理系统的设计与实现[A];全国第十届企业信息化与工业工程学术年会论文集[C];2006年

4 袁博;罗海涛;郑晨;;信息化在质量体系文件管理中的应用[A];中国药学会第三届药物检测质量管理学术研讨会资料汇编[C];2016年

相关重要报纸文章 前7条

1 ;南京海关—— 积极研发规范性文件管理系统[N];江苏法制报;2010年

2 张薇薇;美国邮资委员会即将推出网上文件管理系统[N];中国邮政报;2002年

3 马忠春;天津药企推广GMP文件管理系统[N];中国医药报;2007年

4 陆春华;印输美药品遇“质量风暴”的背后[N];新华每日电讯;2007年

5 陈亮;投入Vista的怀抱？再等等吧![N];南方日报;2007年

6 本报记者 佟乐;UIT：2008新起“点”[N];网络世界;2008年

7 中国企业网控股有限公司董事长 于品海;中国企业信息化的道路[N];国际商报;2001年

相关博士学位论文 前1条

1 邓辉;基于开放体系的机电设备可重构监测系统研究[D];天津大学;2007年

相关硕士学位论文 前10条

1 管登荣;基于SeaweedFS的分布式文件管理系统的设计与实现[D];南京大学;2018年

2 陈洁瑜;基于云平台的文件管理系统的设计与测试研究[D];厦门大学;2014年

3 李润;高职院校图像文件管理系统的分析与设计[D];厦门大学;2014年

4 杜云林;六安精工公司文件管理系统的设计与实现[D];大连理工大学;2013年

5 陆燕宁;基于快速加密的文件管理系统的设计与实现[D];大连理工大学;2013年

6 陈栋波;基于HBase的海量小文件管理系统的设计与实现[D];北京邮电大学;2017年

7 孟密密;基于HDFS的文件管理系统的设计与实现[D];东南大学;2016年

8 王嘉;基于J2EE的机场办公室文件管理系统的设计与实现[D];电子科技大学;2014年

9 杨铭;基于PHP技术的网络文件管理系统的研究及实现[D];湖北大学;2013年

10 邹志荣;基于Ajax技术的警务文件管理系统的设计与实现[D];电子科技大学;2012年

本文编号：2768788