一个网络文件存储系统TNS关键技术

发布时间：2019-08-07 11:31

【摘要】：基于多服务器架构、为多用户服务的网络文件存储系统普遍存在资源分配不均,重复文件多,存储空间浪费严重的问题。设计并实现了TNS网络文件存储系统,该系统基于多服务器存储架构,分别由用户服务器、索引服务器、数据服务器、共享服务器、管理服务器和登录服务器组成,为多用户服务,采用一致性Hash实现负载均衡,支持在客户端进行文件粒度的重复数据删除。经过实际生产环境运行测试,具有良好的负载均衡能力和重复数据删除功能,可以有效节省存储空间,提高存储设备利用率。
[Abstract]:Based on multi-server architecture, there are many problems in multi-user network file storage system, such as uneven distribution of resources, large number of repeated files and serious waste of storage space. A TNS network file storage system is designed and implemented, which is based on multi-server storage architecture. The system is composed of user server, index server, data server, shared server, management server and login server. It serves for multi-users. Consistent Hash is used to realize load balancing and support file granularity duplicate data deletion in the client. After running and testing in the actual production environment, it has good load balancing ability and duplicate data deletion function, which can effectively save storage space and improve the utilization rate of storage equipment.
【作者单位】： 清华大学计算机系;
【分类号】：TP333

【参考文献】

相关期刊论文 前1条

1 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

相关博士学位论文 前1条

1 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年

【共引文献】

相关期刊论文 前10条

1 邓亮;胡晓勤;梁刚;;基于重复数据删除技术的SQL Server数据库备份系统[J];计算机安全;2011年07期

2 吴晓勇;李慧娜;;基于文件类型的远程文件备份系统[J];计算机安全;2012年03期

3 吴晓勇;李慧娜;;基于Internet的共享式灾备中心[J];计算机安全;2012年05期

4 张清松;梁智强;;基于硬盘的主机防客体重用性能的检测方法[J];广东电力;2012年07期

5 李向前;;一种基于重复数据删除的Oracle数据库备份系统[J];电脑知识与技术;2013年01期

6 王灿;秦志光;杨磊;杨皓;;基于改进Sparse Indexing的多负载消冗方法[J];电子科技大学学报;2013年05期

7 林晓君;;信息系统数据自动备份技术研究[J];电脑知识与技术;2014年08期

8 周斌;王晶奇;张莹;;布隆过滤器在重复数据删除中的应用[J];电脑知识与技术;2014年08期

9 王小妮;;多层次级别确保数据的高可靠性[J];中国管理信息化;2014年15期

10 阎芳;谭毓安;孙志卓;刘靖宇;;重复数据删除系统元数据存储布局研究[J];北京理工大学学报;2014年05期

相关会议论文 前3条

1 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 吴朋朋;黄玮;杨璐皓;;移动终端通讯录数据同步去重算法[A];2013年中国信息通信研究新进展论文集[C];2014年

3 胡宁玉;杜秀丽;刘焱;卢刚;王运明;;基于快速消冗方法的增量备份策略研究[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

相关博士学位论文 前7条

1 谭玉娟;数据备份系统中数据去重技术研究[D];华中科技大学;2012年

2 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

3 魏建生;高性能重复数据检测与删除技术研究[D];华中科技大学;2012年

4 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

5 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

6 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

7 朱锐;重复数据删除技术中的并行性能优化算法研究[D];华中科技大学;2013年

相关硕士学位论文 前10条

1 丁跃进;网关型病毒防火墙的设计与实现[D];电子科技大学;2011年

2 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年

3 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年

4 张鹏;在线备份系统中存储服务器的研究与实现[D];华中科技大学;2011年

5 周国惠;支持重复数据删除的网络备份系统中存储服务器的设计与实现[D];华中科技大学;2011年

6 张航;文件同步服务中数据同步传输消重策略研究[D];国防科学技术大学;2011年

7 武铨;广域网数据冗余消除TCP透明代理的设计与实现[D];南京邮电大学;2012年

8 郭永安;网络协议栈下TCP队列管理研究[D];南京邮电大学;2012年

9 毛允亭;广域网数据压缩算法的研究与实现[D];南京邮电大学;2012年

10 肖红凤;基于数据中心的数据访问服务模型研究[D];东北石油大学;2012年

【二级参考文献】

相关期刊论文 前1条

1 ;Scalable high performance de-duplication backup via hash join[J];Journal of Zhejiang University-Science C(Computer & Electronics);2010年05期

相关博士学位论文 前1条

1 刘群;基于可扩展对象的海量存储系统研究[D];华中科技大学;2006年

相关硕士学位论文 前1条

1 贺翔;一种基于NDMP的块级备份和数据管理方法及其实现[D];中国科学院研究生院（计算技术研究所）;2006年

【相似文献】

相关期刊论文 前10条

1 王春靖;FAT32的优点[J];电脑爱好者;1998年03期

2 何文才;郑钊;刘培鹤;杜敏;;一种基于目录数据分离存储的文件存储方法的研究与实现[J];网络安全技术与应用;2014年01期

3 飞雪散花;;手机文件存储看我的[J];电脑迷;2012年05期

4 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

5 ;金刚指——计算机文件存储的保护神[J];信息安全与通信保密;2001年12期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

8 张美芳;电子文件存储方式的研究[J];数字与缩微影像;2005年02期

9 陶慧;于守谦;刘夏;;适于测控系统的文件存储结构研究[J];计算机应用与软件;2010年11期

10 方勇;史跃辉;;浅谈减少地形图电子文件存储冗余的几种方法[J];江西测绘;2006年02期

相关会议论文 前6条

1 任勇;朱立谷;张雷;彭建峰;;新型虚拟文件存储系统的设计[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李浩;;基于制播分离的文件存储和传输方式的探讨[A];中国新闻技术工作者联合会五届二次理事会暨学术年会论文集（上篇）[C];2010年

3 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011全国无线及移动通信学术大会论文集[C];2011年

5 袁旦;张智君;;预览时间对颜色判断任务下客体文件存储的影响[A];第十一届全国心理学学术会议论文摘要集[C];2007年

6 黄步根;黄政;刘建军;;SANYO数码相机中被删除视频的恢复[A];第26次全国计算机安全学术交流会论文集[C];2011年

相关重要报纸文章 前10条

1 本报记者 郭平;Isilon扩充文件存储产品线[N];计算机世界;2009年

2 本报记者 郭平;容量与性能 一样都不能少[N];计算机世界;2010年

3 张峰;统一存储 业务连续[N];网络世界;2006年

4 清水　编译;基于文件存储大行其道[N];计算机世界;2011年

5 本报记者 郭涛;HCP Anywhere：为HDS内容云锦上添花[N];中国计算机报;2013年

6 于翔;让IT如业务般运营的应用路径[N];网络世界;2009年

7 刘一冰;IBM SoNAS专攻高端存储客户[N];电脑商报;2010年

8 清水　编译;云存储：机遇下暗藏挑战[N];计算机世界;2010年

9 沈建苗;互联网存储 你信得过吗[N];计算机世界;2007年

10 ;一月 笔类和文件存储产品关注度较高[N];消费日报;2010年

相关硕士学位论文 前10条

1 宫海林;支持事务的文件存储技术研究与系统实现[D];国防科学技术大学;2006年

2 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

3 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

4 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

5 张聪萍;钱塘分布式文件存储系统性能优化[D];浙江大学;2011年

6 周峰;互联网文件存储服务系统研究[D];华中科技大学;2011年

7 郑钊;专控计算机分离式文件存储的研究[D];西安电子科技大学;2014年

8 何娟;基于分布式文件存储的个人信息融合系统的研究与实践[D];北京邮电大学;2010年

9 江柳;HDFS下小文件存储优化相关技术研究[D];北京邮电大学;2011年

10 董其文;基于HDFS的小文件存储方法的研究[D];大连海事大学;2013年

，

本文编号：2523932