基于小文件的内存云存储优化策略

发布时间：2018-02-22 07:27

  本文关键词： 内存云 小文件问题 存储策略 结构相关文件 逻辑相关文件　出处：《计算机应用》2014年11期 　论文类型：期刊论文

【摘要】：由于内存云RAMCloud采用日志段的方式存储数据,因此当大量小文件存储于RAMCloud集群时,每个小文件独占整个段,会产生较多的段内碎片,从而导致内存的有效利用率较低以及大量的内存空间浪费。为了解决这个问题,提出基于文件分类的RAMCloud小文件存储优化策略。该策略首先根据文件的相关特性将小文件分为结构相关文件、逻辑相关文件以及相互独立文件三类;然后在存储时对结构相关的文件使用文件合并算法,逻辑相关和相互独立的小文件则使用分组算法。实验结果表明:同未进行优化的RAMCloud存储策略相比,该策略能有效提高集群内存利用率。
[Abstract]:In order to solve the problem , a small file storage optimization strategy based on file classification is proposed . In order to solve the problem , a small file storage optimization strategy based on file classification is proposed .

【作者单位】： 新疆大学信息科学与工程学院;
【基金】：国家自然科学基金资助项目(61262088,61063042) 新疆维吾尔自治区自然科学基金资助项目(2011211A011)
【分类号】：TP333

【参考文献】

相关期刊论文 前1条

1 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

【共引文献】

相关期刊论文 前10条

1 董新华;李瑞轩;周湾湾;王聪;薛正元;廖东杰;;Hadoop系统性能优化与功能增强综述[J];计算机研究与发展;2013年S2期

2 陈渝;;基于Cache的海量图片存取优化方案[J];计算机测量与控制;2014年08期

3 顾鑫;熊炼;;数字标准平台中海量时空小文件合并策略研究[J];计算机应用研究;2014年11期

4 李铁;燕彩蓉;黄永锋;宋亚龙;;面向Hadoop分布式文件系统的小文件存取优化方法[J];计算机应用;2014年11期

5 赵铁柱;袁华强;;高性能的云存储安全网关设计与实现[J];计算机应用与软件;2014年11期

6 徐教显;王雅文;;基于缓存估算模型的代码测试系统性能优化方法[J];软件;2013年12期

7 程付超;苗放;陈垦;;自适应的分布式文件系统元数据管理模型[J];计算机工程与设计;2014年03期

8 王涛;姚世红;徐正全;熊炼;;云存储中面向访问任务的小文件合并与预取策略[J];武汉大学学报(信息科学版);2013年12期

9 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

10 熊炼;徐正全;王涛;顾鑫;;云环境下的时空数据小文件存储策略[J];武汉大学学报(信息科学版);2014年10期

相关会议论文 前1条

1 陈骁;尚德生;党瑞鹏;;探月工程测控应用系统遥操作软件运行模式研究[A];中国宇航学会深空探测技术专业委员会第十届学术年会论文集[C];2013年

相关博士学位论文 前1条

1 夏纯中;云存储多数据中心QoS保障机制研究[D];江苏大学;2014年

【二级参考文献】

相关期刊论文 前1条

1 金海;罗飞;章勤;张浩;;一个基于P2P高性能计算的高效数据传输协议[J];计算机研究与发展;2006年09期

【相似文献】

相关期刊论文 前10条

1 ;联想倡导易用存储全面发力中小企业——联想发布2008年存储策略及普及型存储新品[J];电信科学;2008年02期

2 柯志明;;企业存储的“融”与“化”[J];互联网周刊;2008年02期

3 罗敏;;数据分级存储策略[J];城建档案;2009年05期

4 熊安萍;刘进进;邹洋;;基于对象存储的负载均衡存储策略[J];计算机工程与设计;2012年07期

5 陈子阳;周军锋;;一种最优的静态路径编码存储策略[J];计算机研究与发展;2011年06期

6 李健利;高勇;解洋;霍光磊;;自动信任协商中信任证存储策略研究[J];计算机工程;2011年12期

7 宋军;赵志强;尤佳莉;薛娇;;基于P2P在线信息聚合的存储策略研究[J];网络新媒体技术;2012年01期

8 任长宁;宋萍;郑东霞;;家庭数字信息服务平台的云存储策略研究[J];中国科技信息;2013年09期

9 魏燕;;数据价值决定存储策略——ILM指引企业有效管理数据[J];每周电脑报;2005年13期

10 余丹;孙文;;控制管理成本的分层存储策略[J];华南金融电脑;2010年03期

相关会议论文 前4条

1 周志逵;刘菊玲;;Native XML DB存储策略的研究[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

2 俞本权;叶锋;王宁;陈滢;王能斌;;同构OIM对象及其存储策略[A];第十五届全国数据库学术会议论文集[C];1998年

3 林秦颖;桂小林;史德琴;王小平;;面向云存储的安全存储策略研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

4 魏莹莹;赵清;;仓库货位分配优化问题研究[A];科技创新与产业发展（B卷）——第七届沈阳科学学术年会暨浑南高新技术产业发展论坛文集[C];2010年

相关重要报纸文章 前7条

1 周娴;IBM存储策略定乾坤[N];中国电子报;2005年

2 北京亚细亚智业科技有限公司产品经理 张向辉;医疗影像的长期存储策略[N];中国计算机报;2006年

3 傅蔷;IBM发布系统存储策略定“乾坤”[N];中国工业报;2005年

4 刘;日立数据继续倡导服务导向型存储策略[N];电脑商报;2008年

5 本报记者 郭涛　编译;制定云存储策略应注意的七个问题[N];中国计算机报;2011年

6 本报记者 郭平;Sun购并STK后的存储策略[N];计算机世界;2005年

7 王多;向ILM缓慢迁移[N];计算机世界;2004年

相关硕士学位论文 前3条

1 朱岩;Hadoop云存储策略的研究与优化[D];广东工业大学;2013年

2 高蓟超;Hadoop平台存储策略的研究与优化[D];北京交通大学;2012年

3 孙锦培;P2P高清流媒体系统中数据存储策略的研究与实现[D];华南理工大学;2013年

，

本文编号：1523862