云存储系统中文件分界点确定方法——Cut-GAR

发布时间：2018-01-08 10:17

本文关键词：云存储系统中文件分界点确定方法——Cut-GAR　出处：《计算机应用》2015年09期 　论文类型：期刊论文

【摘要】：针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方法——Cut-GAR。该方法分析消耗Name Node内存(M)、文件上传速度(MUFS)、文件读取速度(MAFS)与文件大小之间的关系,得出文件大小三个近似最优值,FM、FMUFS、FMAFS;然后利用灰度关联分析,将M、MUFS、MAFS作为评价指标,文件大小作为评价对象,得到评价指标-评价对象灰色关联度以及评价指标所占权重,将FM、FMUFS、FMAFS与对应权重相乘,得出文件分界点。实验结果表明,Cut-GAR在M、MUFS和MAFS三者之间取得平衡,可以有效确定文件分界点,提升小文件处理性能。
[Abstract]:The fuzzy definition of small and medium files in Hadoop distributed file system (HDFS) leads to poor performance of HDFS in dealing with small files. This paper presents a method to determine the dividing point of file in cloud storage system-Cut-GAR.The method uses Name Node memory to analyze the speed of file upload. The relationship between file reading speed and file size is obtained, and three approximate optimal values of file size are obtained: FMFM FUFS / FMAFSs; Then, using gray correlation analysis, MUFS MAFS is taken as evaluation index and file size as evaluation object, and the grey correlation degree of evaluation object and the weight of evaluation index are obtained. The FMAFS and the corresponding weights are multiplied to get the dividing point of the file. The experimental results show that Cut-GAR has a balance between MMA MUFS and MAFS. Can effectively determine the file demarcation point, improve small file processing performance.
【作者单位】：东北林业大学信息与计算机工程学院;黑龙江省林业生态大数据存储与高性能(云)计算工程研究中心;
【基金】：黑龙江省自然科学基金重点项目(ZD201403) 哈尔滨市科技人才研究专项(2014RFQXJ132)
【分类号】：TP333
【正文快照】： 0引言云计算是集分布式计算、并行计算、网格计算、虚拟化技术于一体的商业计算模型,在整合大量计算资源与存储资源基础上,向用户提供按需计算能力和存储空间等服务[1]。Hadoop是近几年发展比较成熟的云计算平台之一,作为一种开源软件框架,凭借其可靠性、可扩展性和分布式的计

【参考文献】