基于HDFS的气象云存储的副本管理策略研究

发布时间：2019-10-23 22:47

【摘要】：气象云平台是当今气象行业最热门的研究项目之一,它旨在实时处理、存储、查询、分析和统计海量气象数据,以分布式节点存储、多节点平行计算等方式提供智能、可线性扩容的气象数据处理能力,但是现在还处于探索阶段。气象数据是各类气象服务、科学研究的重要资源,保证数据的可用性和可靠性是气象云存储的重点研究内容之一。数据副本技术是解决气象云存储容错问题的重要手段,它不仅能够避免访问失效和数据丢失,而且能够减少网络带宽以及提高数据的访问效率。 本文主要研究Hadoop分布式文件系统(HDFS, Hadoop Distributed File System)的副本管理策略,针对原有HDFS副本技术上的一些不足,在副本的初始放置阶段和副本调整阶段提出了新的副本策略。具体内容及成果如下： (1)提出了基于负载量的副本放置策略。首先根据气象文件名中的时间先后确定副本数量,然后根据节点的负载值高低选择放置副本的节点。负载值通过评价函数计算得到,评价函数中包含了影响节点负载均衡的因素,即I/0访问率、CPU使用率、内存使用率、节点失效次数率和节点空间负载率,各因素的权值通过层次分析法确定。该策略与HDFS默认的副本策略相比,在系统负载均衡方面具有明显优势。 (2)提出了基于访问量预测的副本调整策略。首先描述了文件热度统计的方法：然后分析气象文件访问特点,具有周期性；接着将BP神经网络用于预测热点气象文件访问量；最后根据预测的访问量找出高热点文件,并根据高热点文件所在节点的I/O访问负载情况判断出是否需要增加副本,增加副本数,以及对冷门文件需要删除多余的副本。该策略与HDFS默认的副本策略相比,能够根据云环境中文件访问量的变化,动态调整副本数量和位置,更能够减少数据的访问延迟,提高数据的访问效率,并使系统保持负载均衡。
【图文】：

从而对HDFS默认副本放置策略与基于负载量的副本放置策略对节点的负载影响进行对比，其实验结果对比如图5-1所示，图中显示了两种策略负载方差随数据量变化的情况。由图可见，在负载均衡方面，，基于负载量的副本放置策略要明显优于HDFS默认的副本放置策略。这是因为基于负载量的策略考虑了多方面的因素，包括节点的I/O访问率、CPU使用率、内存使用率、节点失效次数率和节点空间负载率，但是本实验没有对节点失效进行统计，因此该要素被忽略不计，另外由于节点硬件配置都一样，所以I/O访问率、CPU使用率、内存使用率相差不大，最主要的影响因素是节点的空间负载率。通过选择负载较低的节点来放置副本，不但可以避免磁盘繁忙导致写数据块的操作阻塞，进而影响系43
【学位授予单位】：南京信息工程大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：P409;TP333

【参考文献】

相关期刊论文 前10条

1 田秀霞;周耀君;毕忠勤;彭源;;基于Hadoop架构的分布式计算和存储技术及其应用[J];上海电力学院学报;2011年01期

2 黄昌勤;李源;汤庸;黄睿航;;面向教育资源云存储系统的副本管理[J];北京邮电大学学报;2013年02期

3 刘田甜;李超;胡庆成;张桂刚;;云环境下多副本管理综述[J];计算机研究与发展;2011年S3期

4 沈薇;刘方爱;;基于模拟退火算法的数据副本选择策略[J];计算机工程与应用;2006年35期

5 孙大为;常桂然;高尚;靳立忠;王兴伟;;Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J];Journal of Computer Science & Technology;2012年02期

6 董继光;陈卫卫;田浪军;吴海佳;;大规模云存储系统副本布局研究[J];计算机应用;2012年03期

7 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

8 沈文海;;从云计算看气象部门未来的信息化趋势[J];气象科技进展;2012年02期

9 肖文名;酆薇;杨根录;;气象信息传输业务流程优化的初步分析[J];应用气象学报;2009年04期

10 徐婧;杨寿保;王淑玲;刘晓茜;;CDRS:云存储中一种代价驱动的自适应副本策略[J];中国科学院研究生院学报;2011年06期

相关博士学位论文 前1条

1 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年

本文编号：2552268