基于Cache的海量图片存取优化方案

发布时间：2019-09-18 04:11

【摘要】：针对Hadoop分布式文件系统(Hadoop distributed file system,HDFS)存储海量图片效率低下的问题,在分析HDFS的基本框架以及其固有的文件读写流程基础上,提出了基于Cache的海量图片存储优化方案(HDFS based on Cache,CHDFS);该方案引入了Cache、预读、文件合并等机制,来提高图片读写的性能,弥补了HDFS存储海量图片时的缺陷;采用图片合并的方式减少Namenode中元数据的个数,同时提高Datanode存储空间的利用率;由于Cache、预读以及图片合并等操作对用户都是透明的,所以,该方案并没有增加用户使用HDFS的复杂性;实验结果表明,CHDFS方法可以有效地提高图片的存取效率。
【图文】：

文件流,图片,红黑

第８期陈渝：基于Ｃａｃｈｅ逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦逦的海量图片存取优化方案·２６７１·图２某大小Ｃａｃｈｅ块的某一个中间状态２）当有一个Ｃｌｉｅｎｔ读请求，ＣａｃｈｅＮｏｄｅ会获取Ｃａｃｈｅ块，用来存储从ＨＤＦＳ读取的图片信息，，此时的Ｃａｃｈｅ块，状态变为ｖａｌｉｄ；３）当有一个Ｃｌｉｅｎｔ写图片请求，ＣａｃｈｅＮｏｄｅ会获取Ｃａｃｈｅ块，用来存储Ｃｌｉｅｎｔ写入的图片信息，此时的Ｃａｃｈｅ块状态变为ｄｉｒｔｙ；４）当ｄｉｒｔｙＣａｃｈｅ块中的数据持久化到ＨＤＦＳ中后，其状态变为ｖａｌｉｄ；２．２．３Ｃａｃｈｅ块的申请当ＣａｃｈｅＮｏｄｅ需要一个Ｃａｃｈｅ块来存储数据时，需要从Ｃａｃｈｅ块内存池中获取一个Ｃａｃｈｅ块，获取Ｃａｃｈｅ块的优先顺序如下：１）ｆｒｅｅＣａｃｈｅ块；２）ｖａｌｉｄＣａｃｈｅ块；３）ｄｉｒｔｙＣａｃｈｅ块；此时，需要将与此ｄｉｒｔｙ相关的Ｃａｃｈｅ块内的数据持久化到ＨＤＦＳ。其具体实施过程如下：先从ｆｒｅｅ链表中获取ｃａｃｈｅ块，如果ｆｒｅｅ链表为空，则从ｖａｌｉｄｃａｃｈｅ红黑树中获取ｃａｃｈｅ块，如果ｖａｌｉｄｃａｃｈｅ红黑树为空或所有的ｃａｃｈｅ块都正在被使用，再从ｄｉｒｔｙｃａｃｈｅ红黑树中视图获龋２．２．４Ｕ－Ｍｅｔａｄａｔａ的设计Ｃｌｉｅｎｔ把图片上传至ｈ＿ｐａｔｈ，但是，ＣＨＤＦＳ的Ｃａｃｈｅ－Ｎｏｄｅ节点并不关心ｈ
【作者单位】：四川民族学院计算机科学系;
【基金】：四川省教育厅科研项目(13ZA0135)
【分类号】：TP333

【参考文献】