基于RAMCloud的大文件存储方法的研究与实现

发布时间：2020-01-29 18:28

【摘要】：内存云(RAMCloud)是一个新型的基于内存的分布式键值存储系统,它通过高速网络,将数据中心的各个服务器的可利用内存整合起来进行统一管理,利用磁盘实现数据的持久化存储。它能够有效地支持在线大规模小数据的存取与访问,但是并不支持大文件的直接存取操作。针对上述问题,提出了一个基于文件分割和合并的解决方案,在此基础之上,设计和实现了一个大文件管理模块,并将此模块集成到RAMCloud中。通过实验对改进后的系统进行了性能测试,实验结果表明,该系统能够有效地支持大文件的存取,且与HDFS相比,读写速度均有着明显的性能优势。在后续工作中,考虑将此系统集成到HDFS中当作分布式缓存管理系统来使用,从而达到提高HDFS性能的目的。

【相似文献】

相关期刊论文 前10条

1 王春靖;FAT32的优点[J];电脑爱好者;1998年03期

2 何文才;郑钊;刘培鹤;杜敏;;一种基于目录数据分离存储的文件存储方法的研究与实现[J];网络安全技术与应用;2014年01期

3 飞雪散花;;手机文件存储看我的[J];电脑迷;2012年05期

4 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

5 ;金刚指——计算机文件存储的保护神[J];信息安全与通信保密;2001年12期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

8 张美芳;电子文件存储方式的研究[J];数字与缩微影像;2005年02期

9 陶慧;于守谦;刘夏;;适于测控系统的文件存储结构研究[J];计算机应用与软件;2010年11期

10 方勇;史跃辉;;浅谈减少地形图电子文件存储冗余的几种方法[J];江西测绘;2006年02期

相关会议论文 前6条

1 任勇;朱立谷;张雷;彭建峰;;新型虚拟文件存储系统的设计[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李浩;;基于制播分离的文件存储和传输方式的探讨[A];中国新闻技术工作者联合会五届二次理事会暨学术年会论文集（上篇）[C];2010年

3 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011全国无线及移动通信学术大会论文集[C];2011年

5 袁旦;张智君;;预览时间对颜色判断任务下客体文件存储的影响[A];第十一届全国心理学学术会议论文摘要集[C];2007年

6 黄步根;黄政;刘建军;;SANYO数码相机中被删除视频的恢复[A];第26次全国计算机安全学术交流会论文集[C];2011年

相关重要报纸文章 前9条

1 本报记者 郭平;Isilon扩充文件存储产品线[N];计算机世界;2009年

2 本报记者 郭平;容量与性能 一样都不能少[N];计算机世界;2010年

3 张峰;统一存储 业务连续[N];网络世界;2006年

4 清水　编译;基于文件存储大行其道[N];计算机世界;2011年

5 本报记者 郭涛;HCP Anywhere：为HDS内容云锦上添花[N];中国计算机报;2013年

6 于翔;让IT如业务般运营的应用路径[N];网络世界;2009年

7 刘一冰;IBM SoNAS专攻高端存储客户[N];电脑商报;2010年

8 清水　编译;云存储：机遇下暗藏挑战[N];计算机世界;2010年

9 沈建苗;互联网存储 你信得过吗[N];计算机世界;2007年

相关硕士学位论文 前10条

1 廖家赵;面向城轨线网的海量小文件存储方法的研究与实现[D];华南理工大学;2015年

2 李长平;基于FastDFS架构的小文件存储系统的设计与实现[D];哈尔滨工业大学;2015年

3 叶道平;基于HADOOP的海量录音文件存储系统的设计与实现[D];电子科技大学;2014年

4 张振猛;基于Hadoop的海量文件存储系统的分析与设计[D];北京工业大学;2015年

5 武奇;云存储中数据的分发与迁移机制的研究[D];长春工业大学;2016年

6 周兴;基于MongoDB的海量大中小文件存储系统的研究与应用[D];中国地质大学(北京);2016年

7 张程;基于HDFS的文件存储与读取的优化策略研究与应用[D];北京工业大学;2016年

8 宫海林;支持事务的文件存储技术研究与系统实现[D];国防科学技术大学;2006年

9 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

10 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

，

本文编号：2574438