基于NoSQL的海量航空物流小文件分布式多级存储方法

发布时间：2018-01-15 16:32

  本文关键词：基于NoSQL的海量航空物流小文件分布式多级存储方法　出处：《计算机应用研究》2017年05期 　论文类型：期刊论文

  更多相关文章： 小文件 Redis HDFS 多级存储 预取机制

【摘要】：为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法。充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。
[Abstract]:In order to solve the problem that the storage efficiency and the access efficiency of mass small files in the field of aviation logistics are not high , a distributed multi - level storage method based on NoSQL is put forward . Considering the timeliness , locality , concurrency of operation and the correlation between files , the file is merged according to the correlation , then distributed multilevel storage is adopted to cache the data by using the memory type Redis database . The experiment results show that the method effectively improves the access efficiency of the small file and the utilization rate of the disk , obviously reduces the bandwidth occupation of the network and the memory consumption of the cluster NameNode , and is suitable for solving the problem of large volume small file storage in the aviation field .

【作者单位】： 中国民航大学计算机科学与技术学院;中国民航大学天津市智能信号与图像处理重点实验室;
【基金】：民航局科技创新重大专项基金资助项目(MHRD20140106,MHRD20150107) 中央高校基金资助项目(3122014P004,3122016A001) 中国民航大学天津市智能信号与图像处理重点实验室开放基金资助项目(2015ASP02)
【分类号】：TP333
【正文快照】： 0引言针对航空物流行业,大多数信息的交换都是以报文的形式存在,种类繁多,而单个报文的大小基本上在3 k B左右。对于航空物流信息系统的i Link平台上每天的数据交换量为10 GB左右,然而对于10 GB大小的数据,大约有上千万个报文。随着民航信息产业的不断发展,导致海量数据信息也，

本文编号：1429168