SQL-DFS:一种基于HDFS的海量小文件存储系统

发布时间：2017-06-15 13:00

  本文关键词：SQL-DFS:一种基于HDFS的海量小文件存储系统，，由笔耕文化传播整理发布。

【摘要】：针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时Name Node内存占用率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统.通过在Name Node中加入小文件处理模块实现了小文件元数据由Name Node内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对Name Node的请求次数;通过将部分Data Node文件块的校验工作交由元数据存储集群完成,进一步降低了Name Node节点的负载压力.最终通过搭建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS 2种架构进行了小文件读写的对比测试,实验结果表明:SQLDFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储能力,可用于海量小文件的存储.
【作者单位】： 内蒙古工业大学信息工程学院;
【关键词】： Hadoop分布式文件系统(HDFS) 元数据存储集群 小文件 元数据 内存占用率
【基金】：国家自然科学基金资助项目(61363052) 内蒙古自治区自然科学基金资助项目(2014MS0608) 内蒙古自治区高等学校科学研究项目(NJZY12052)
【分类号】：TP333
【正文快照】： Hadoop[1]在云计算领域内的广泛使用,使得其已经成为海量数据并行处理的标准.Hadoop分布式文件系统(Hadoop distributed file system,HDFS)作为Hadoop的关键技术之一,其原型来自于谷歌公司(Google)的GFS文件系统,可用于构建大规模、可扩展、高容错的分布式存储平台.HDFS开源的

【参考文献】

中国期刊全文数据库 前2条

1 赵晓永;杨扬;孙莉莉;陈宇;;基于Hadoop的海量MP3文件存储架构[J];计算机应用;2012年06期

2 谷震离;;关系数据库查询优化方法研究[J];微计算机信息;2006年15期

【共引文献】

中国期刊全文数据库 前10条

1 吴浪;;关系数据库查询优化研究[J];才智;2008年10期

2 贾小恒;;XML文档存储在关系数据库中的研究[J];电脑编程技巧与维护;2009年24期

3 臧劲松;;基于数据仓库的教学管理信息系统的研究与应用[J];电脑开发与应用;2009年11期

4 邹辉;扬克俭;;MiniSQL数据库管理系统物理存储结构的设计[J];电脑知识与技术;2009年10期

5 谷震离;;查询语句对SQL Server数据库查询性能优化分析[J];福建电脑;2007年03期

6 朱连军;董雪;;数据库中XML文档的存储研究[J];河南教育学院学报(自然科学版);2009年03期

7 魏威;马国峰;;基于索引的关系数据库查询优化[J];洛阳大学学报;2007年02期

8 高敬媛;赵克宝;;校园网数据库性能优化技术[J];煤炭技术;2011年07期

9 赵晓永;杨扬;孙莉莉;;一种采用声学指纹去重的海量MP3文件存储架构[J];计算机应用研究;2013年02期

10 赵晓永;杨扬;王宁;;基于声学指纹的海量MP3文件近似去重方法[J];计算机工程;2013年07期

【二级参考文献】

中国期刊全文数据库 前2条

1 王福林;;新技术对音乐产业的冲击[J];辽宁行政学院学报;2008年01期

2 张铮;Kingview6.5的数据库功能开发与应用[J];微计算机信息;2005年02期

【相似文献】

中国期刊全文数据库 前10条

1 王春靖;FAT32的优点[J];电脑爱好者;1998年03期

2 何文才;郑钊;刘培鹤;杜敏;;一种基于目录数据分离存储的文件存储方法的研究与实现[J];网络安全技术与应用;2014年01期

3 飞雪散花;;手机文件存储看我的[J];电脑迷;2012年05期

4 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

5 ;金刚指——计算机文件存储的保护神[J];信息安全与通信保密;2001年12期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

8 张美芳;电子文件存储方式的研究[J];数字与缩微影像;2005年02期

9 陶慧;于守谦;刘夏;;适于测控系统的文件存储结构研究[J];计算机应用与软件;2010年11期

10 方勇;史跃辉;;浅谈减少地形图电子文件存储冗余的几种方法[J];江西测绘;2006年02期

中国重要会议论文全文数据库 前6条

1 任勇;朱立谷;张雷;彭建峰;;新型虚拟文件存储系统的设计[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李浩;;基于制播分离的文件存储和传输方式的探讨[A];中国新闻技术工作者联合会五届二次理事会暨学术年会论文集（上篇）[C];2010年

3 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011全国无线及移动通信学术大会论文集[C];2011年

5 袁旦;张智君;;预览时间对颜色判断任务下客体文件存储的影响[A];第十一届全国心理学学术会议论文摘要集[C];2007年

6 黄步根;黄政;刘建军;;SANYO数码相机中被删除视频的恢复[A];第26次全国计算机安全学术交流会论文集[C];2011年

中国重要报纸全文数据库 前9条

1 本报记者 郭平;Isilon扩充文件存储产品线[N];计算机世界;2009年

2 本报记者 郭平;容量与性能 一样都不能少[N];计算机世界;2010年

3 张峰;统一存储 业务连续[N];网络世界;2006年

4 清水　编译;基于文件存储大行其道[N];计算机世界;2011年

5 本报记者 郭涛;HCP Anywhere：为HDS内容云锦上添花[N];中国计算机报;2013年

6 于翔;让IT如业务般运营的应用路径[N];网络世界;2009年

7 刘一冰;IBM SoNAS专攻高端存储客户[N];电脑商报;2010年

8 清水　编译;云存储：机遇下暗藏挑战[N];计算机世界;2010年

9 沈建苗;互联网存储 你信得过吗[N];计算机世界;2007年

中国硕士学位论文全文数据库 前10条

1 廖家赵;面向城轨线网的海量小文件存储方法的研究与实现[D];华南理工大学;2015年

2 李长平;基于FastDFS架构的小文件存储系统的设计与实现[D];哈尔滨工业大学;2015年

3 宫海林;支持事务的文件存储技术研究与系统实现[D];国防科学技术大学;2006年

4 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

5 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

6 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

7 张聪萍;钱塘分布式文件存储系统性能优化[D];浙江大学;2011年

8 周峰;互联网文件存储服务系统研究[D];华中科技大学;2011年

9 郑钊;专控计算机分离式文件存储的研究[D];西安电子科技大学;2014年

10 何娟;基于分布式文件存储的个人信息融合系统的研究与实践[D];北京邮电大学;2010年

  本文关键词：SQL-DFS:一种基于HDFS的海量小文件存储系统，由笔耕文化传播整理发布。

本文编号：452440