ZFS在基于HDFS的近线存储系统中性能分析与实现

发布时间：2018-10-18 09:25

【摘要】：通过将云计算技术应用于近线存储领域,设计实现了基于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的海量近线存储系统,用以扩展TH-1A超级计算机在线存储系统空间,提高系统利用率.该系统采用胖存储节点(大型的存储服务器)构建基于HDFS的近线存储集群,通过ZFS文件系统来解决HDFS存在的低效和空间利用率低的问题,采用双副本冗余、虚拟存储、动态管理等方法优化存储服务器存储和管理效率,提高了近线存储系统性能.实验结果表明,与传统HDFS集群存储系统相比,该系统在可靠性、经济性及灵活性上均具有一定的优势.
[Abstract]:By applying cloud computing technology to near-line storage, a massive near-line storage system based on Hadoop distributed file system (Hadoop distributed file system,HDFS) is designed and implemented to expand the space of TH-1A supercomputer online storage system and improve system utilization. The system uses fat storage node (large storage server) to construct near-line storage cluster based on HDFS, solves the problems of low efficiency and low space utilization of HDFS by ZFS file system, and adopts double copy redundancy, virtual storage, etc. The storage and management efficiency of storage server is optimized by dynamic management, and the performance of near-line storage system is improved. The experimental results show that compared with the traditional HDFS cluster storage system, the system has some advantages in reliability, economy and flexibility.
【作者单位】： 国防科学技术大学计算机学院;
【分类号】：TP333

【参考文献】

相关期刊论文 前2条

1 郭东;杜勇;胡亮;;基于HDFS的云数据备份系统[J];吉林大学学报(理学版);2012年01期

2 许孝明;;浅析ZFS文件系统及应用[J];数字技术与应用;2012年06期

【共引文献】

相关期刊论文 前10条

1 黄滨;徐勇;吕岩;;基于Hadoop云存储系统在设计院的应用研究[J];信息安全与技术;2012年09期

2 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期

3 王建辉;石宇良;;支持文件重删的HDFS分布式备份系统研究[J];电子设计工程;2014年04期

4 魏晓辉;付庆午;李洪亮;;Hadoop平台下基于资源预测的Delay调度算法[J];吉林大学学报(理学版);2013年01期

5 王建辉;;支持自动化Hadoop安装部署的研究[J];信息通信;2013年08期

6 高煜红;陈清华;方路平;;ZFS在基于Hadoop的视频存储系统中的应用[J];杭州电子科技大学学报;2013年05期

7 李斌;;基于ZFS文件系统的资源存储实现[J];哈尔滨职业技术学院学报;2014年01期

8 于强;;数字民族音乐云存储服务平台研究[J];戏剧丛刊;2014年02期

9 夏侯建兵;魏倩倩;邓小娜;;基于云存储的数据备份研究[J];软件导刊;2014年05期

10 陈石磊;宋志毅;蔡佳义;罗殠殠;;基于云计算的低冗余远程智能恢复系统的实现[J];信息网络安全;2012年09期

相关会议论文 前1条

1 高煜红;陈清华;方路平;;ZFS在基于Hadoop的视频存储系统中的应用[A];浙江省电子学会2013学术年会论文集[C];2013年

相关硕士学位论文 前9条

1 李伟宏;面向医疗信息管理系统的云存储技术研究与实现[D];华南理工大学;2012年

2 梁兴辉;云存储环境下数据副本技术研究[D];南京邮电大学;2013年

3 郭奇;基于HDFS的流媒体服务器Red5视频文件分发的研究与应用[D];北京邮电大学;2013年

4 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

5 杨统凯;基于写前拷贝技术的云计算快照过程和存储优化[D];浙江大学;2012年

6 李颖;基于分布式文件系统的农业数据云存储研究[D];山东农业大学;2013年

7 郭亮;基于MD5与HASH的数据库增量提取算法及其应用[D];湖南大学;2013年

8 胡振邦;面向科研领域的云存储应用系统设计与实现[D];中国科学院大学(工程管理与信息技术学院);2013年

9 穆天红;基于CUDA的二值图像连通域快速标记算法改进研究[D];陕西科技大学;2014年

【二级参考文献】

相关期刊论文 前4条

1 沈泓;范亚芹;;企业局域网机密信息传输系统设计[J];吉林大学学报(信息科学版);2009年03期

2 倪冰;陈运清;;P2P流量监控技术的研究及现网试验[J];吉林大学学报(信息科学版);2009年05期

3 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

4 李文俊;李立新;李福林;余洋;;基于P2P的数据备份系统的设计与实现[J];信息工程大学学报;2010年03期

【相似文献】

相关期刊论文 前10条

1 陶沙;唐智广;白月文;;近线存储在播出系统中的应用[J];中国传媒科技;2013年08期

2 黄蓓;近线存储与数据归档系统的技术运用[J];广播与电视技术;2004年03期

3 ;近线存储用硬盘[J];每周电脑报;2003年25期

4 i博士;近水楼台先得月——近线存储设备选购指导[J];中国计算机用户;2005年45期

5 卢筠;;近线存储技术在档案中的应用[J];甘肃科技;2006年12期

6 吴敌;;大容量2级近线存储硬盘 Seagate Constellation企业级硬盘[J];个人电脑;2009年09期

7 肖艳平;;数字电视播出系统中的近线存储[J];内蒙古广播与电视技术;2010年03期

8 肖艳平;;数字电视播出系统中的近线存储[J];中国数字电视;2011年10期

9 陈策明;浅谈近线存储在硬盘播出系统中的应用[J];现代电视技术;2004年08期

10 赵凯;;近线存储管理在播出系统中的应用[J];现代电视技术;2014年03期

相关会议论文 前1条

1 赵凯;;近线存储管理在播出系统中的应用[A];中国新闻技术工作者联合会第六次会员代表大会、2014年学术年会暨第七届《王选新闻科学技术奖》和优秀论文奖颁奖大会论文集（二等奖）[C];2014年

相关重要报纸文章 前10条

1 上海市公安局科技处 龚艳;近线存储多快好省[N];中国计算机报;2006年

2 岑广海;近线存储高速低价[N];中国计算机报;2003年

3 ;近线存储 效率高 更经济[N];中国计算机报;2003年

4 杨言;近线存储结构的典范[N];科技日报;2003年

5 郭涛;分层存储 一个都不能少[N];中国计算机报;2003年

6 石竹;医疗PACS锁定近线存储[N];计算机世界;2003年

7 郎飞;创新只为易用[N];中国计算机报;2003年

8 郭涛、陈蔚、吕威;存储看涨[N];中国计算机报;2003年

9 本报记者 张峰;构建存储梯田[N];网络世界;2003年

10 本报记者 张群英;ILM的虚幻年代[N];网络世界;2006年

相关硕士学位论文 前1条

1 郭洁;近线存储异构播出平台的研究与实现[D];华南理工大学;2011年

，

本文编号：2278697