一种基于热数据识别技术的UBIFS优化方案
本文选题:闪存 + UBIFS文件系统 ; 参考:《计算机科学》2017年06期
【摘要】:NAND Flash介质具有特殊的物理性质,传统文件系统不能直接对NAND Flash进行管理,容易造成NAND Flash设备性能下降、磨损不均衡等负面影响。闪存文件系统将FTL与文件系统功能有机地结合起来,可更好地发挥NAND Flash的高性能。无序区块镜像文件系统(Unsorted Block Image File System,UBIFS)是一种被广泛使用的闪存文件系统,但其存在着写放大和垃圾回收操作频繁触发等问题。针对UBIFS中存在的问题,提出利用多哈希函数的哈希表对热数据进行识别,以降低热数据识别开销,提高热数据识别的准确率;采用多日志技术,将不同热度的日志、数据分开存放,以减少垃圾回收触发频率;采用热数据日志延迟提交技术来减少UBIFS中日志提交带来的元数据修改,进而减少了写放大产生的次数。测试与分析表明,与原UBIFS相比,优化后的UBIFS的系统内部写物理块的次数减少5%~10%,垃圾回收操作触发的次数减少了7%~13%,同时系统的IOPS提高了5%~18%,系统性能下降现象得到了有效缓解。
[Abstract]:NAND Flash media has special physical properties, traditional file system can not directly manage NAND Flash, which can easily lead to the deterioration of NAND Flash equipment performance, uneven wear and other negative effects. Flash file system combines the functions of FTL and file system organically, which can better play the high performance of NAND Flash. Unsorted Block Image File system UBIFS) is a widely used flash file system, but there are some problems such as write amplification and frequent trigger of garbage collection. Aiming at the existing problems in UBIFS, this paper proposes to use the hash table of multi-hash function to identify the thermal data in order to reduce the cost of thermal data identification and improve the accuracy of thermal data recognition. The data is stored separately to reduce the trigger frequency of garbage collection, and the delayed commit technology of thermal data log is adopted to reduce the metadata modification caused by log submission in UBIFS, thus reducing the number of write magnification. The test and analysis show that compared with the original UBIFS, the number of writing physical blocks in the optimized UBIFS system is reduced by 5 times and the number of triggered garbage collection operations is reduced by 7% and 13%, while the IOPS of the system has been improved by 518%, and the decline of system performance has been effectively alleviated.
【作者单位】: 华中科技大学光电国家实验室;华中科技大学计算机科学与技术学院;
【基金】:国家863项目计划(2015AA016701,2015AA015301) 国家自然科学基金资助项目(61402189,61472153) 计算机体系结构国家重点实验室(CARCH201505) 武汉市应用基础研究计划项目(2015010101010004) 信息存储系统教育部重点实验室资助
【分类号】:TP333
【相似文献】
相关期刊论文 前10条
1 程振东;栾钟治;孟由;李亮淑;和荣;杨婷婷;钱德沛;管刚;陈伟;;云文件系统中纠删码技术的研究与实现[J];计算机科学与探索;2013年04期
2 李舜莉,阮玉;迅速发展的大规模光盘文件系统[J];激光杂志;1988年05期
3 王江;;一种可靠高效的闪存文件系统[J];单片机与嵌入式系统应用;2013年12期
4 鲁智深;;Kingmax microSDHC 4GB存储卡评测[J];大众数码;2007年06期
5 钟忻,慕春棣;基于闪存的文件系统的实现[J];计算机工程与应用;2003年24期
6 刘明;张军平;;并行文件系统的应用探讨[J];软件;2010年11期
7 张在贵;张立强;李瑞东;文中领;张海涛;;一种适用于集群文件系统分级存储的分布式锁设计与分析[J];计算机研究与发展;2012年S1期
8 周恩强;董勇;张伟;卢宇彤;;对象存储并行文件系统小文件性能优化研究[J];计算机工程与科学;2013年12期
9 陈禹;;用户心中的误区[J];中国计算机用户;2007年10期
10 萌萌;;老命令新用 让闪存支持单个大容量文件[J];电脑迷;2010年03期
相关会议论文 前3条
1 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集(Ⅲ)[C];2008年
2 王雪娇;钱军;温东新;张展;崔忠强;;基于Linux虚拟文件系统故障注入器的设计与实现[A];第六届中国测试学术会议论文集[C];2010年
3 钱迎进;金士尧;肖侬;;大规模集群文件系统中的I/O拥塞控制机制[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
相关重要报纸文章 前10条
1 李柠 许冰;Linux的“心”事[N];中国计算机报;2000年
2 河北 廉育功;Linux技巧[N];中国电脑教育报;2001年
3 阳光;一台PC机上安装Win98、NT、Linux[N];中国矿业报;2000年
4 小雨;FAT享年25岁——触摸未来文件系统[N];电脑报;2003年
5 北京捷华润公司 郝常杰;对象存储:块和文件之外的存储形式[N];中国计算机报;2006年
6 门宣;走进Linux2.4的精彩世界[N];中国计算机报;2001年
7 ;驱动器与DOS兼容文件系统[N];电脑报;2002年
8 任勇;在Linux中访问DOS的方法[N];大众科技报;2000年
9 ;Veritas展示用于Oracle9i RAC的群集系统[N];计算机世界;2003年
10 赵宇明;建设完美的存储世界[N];网络世界;2008年
相关博士学位论文 前3条
1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年
2 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院(计算技术研究所);1999年
3 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年
相关硕士学位论文 前10条
1 刘佩;基于纠删码技术的HD_EC文件系统的设计与实现[D];曲阜师范大学;2015年
2 丘文未;基于软硬件协同设计的闪存存储系统关键技术研究与实现[D];国防科学技术大学;2013年
3 赖尚校;基于ARM的嵌入式闪存驱动与UBIFS文件系统的分析与实现[D];浙江工业大学;2014年
4 刘剑;用FPGA实现文件系统及其应用[D];太原理工大学;2013年
5 冯子陵;闪存文件系统UBIFS的分析与优化[D];南京大学;2013年
6 何耀;面向大容量SCM的融合式文件系统[D];江苏大学;2016年
7 房s,
本文编号:1969332
本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/1969332.html