冷存储系统关键模块设计与实现

发布时间：2021-01-22 12:50

　　随着互联网行业的快速发展,每时每刻都不断有大量数据生成,大数据的存储成为当前存储领域的热门问题。根据调查显示,数据量剧增的同时,也出现了数据访问策略分层的现象,其中低频访问的冷数据占到总数据量的八成左右。传统的数据存储方式解决了大规模数据的存储问题,但在冷数据存储场景仍存在能耗高成本高的问题。本文针对冷数据存储场景进行优化,通过采用控制存储服务器硬盘通断电的方式,对低频访问数据所在硬盘进行休眠处理,降低系统整体功耗,从而设计并实现了低功耗低成本高可用可扩展的分布式冷存储系统。本文主要对系统关键模块中的功能模块、状态监控模块以及存储客户端进行设计与实现。论文首先阐述了冷存储系统的研究背景与现状,并与现有存储系统进行对比,提出冷存储系统的设计思想。接下来从硬件与软件层面对系统架构进行了介绍,并详细说明了系统关键模块的组成和作用。本文采用Erlang/OTP框架设计并实现了硬盘电源控制与健康状态检查模块。为提高系统数据的可靠性和容错性,本文设计实现了数据扫描和文件重构模块。通过将开源日志套件ELK与冷存储系统相结合,设计实现了集群服务器和各模块运行状态的监控模块,并根据日志数据聚合查询生成告... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：88 页

【学位级别】：硕士

【部分图文】：

图２－丨ＤＡＳ系统结构示意图??ＤＡＳ的问题在于数据在存储备份和恢复过程中，需要使用服务器的ＣＰＵ、??

存储区域网络ＳＡＮ，指将多个存储设备通过交换设备迕接到服务器，形成一??个局域的存储网络。一般采用的交换设备为光纤通道交换机，也就是ＦＣ－ＳＡＮ，??Ｈ前还有基于ＩＰ网络的ＩＰ－ＳＡＮ［＂］。ＳＡＮ系统结构示意图如图２－３所示。??７??

缩写为ＰＯＳＩＸ?）协议，适合一次写入，多次读取的场景［１４】。??ＨＤＦＳ是主从架构，ＨＤＦＳ存储系统主要由Ｃｌｉｅｎｔ、ＮａｍｅＮｏｄｅ、ＤａｔａＮｏｄｅ和??ＳｅｃｏｎｄａｒｙＮａｍｅＮｏｄｅ组成。ＨＤＦＳ系统架构图如图２－４所示。??？?Ｃｌｉｅｎｔ以命令行的方式对ＨＤＦＳ进行访问和管理，通过访问ＮａｍｅＮｏｄｅ??获取文件存储元信息，并向ＤａｔａＮｏｄｅ存储和读取数据。??？?ＮａｍｅＮｏｄｅ作为Ｍａｓｔｅｉ？节点，主要存储ＨＤＦＳ的数据块映射元数据信??息，接收客户端的请求，并且管理系统中数据副本的复制。??？?ＤａｔａＮｏｄｅ是ＨＤＦＳ系统中主要存储数据的节点，接受ＮａｍｅＮｏｄｅ的控??制，并与客户端传输数据。??８??

【参考文献】：
期刊论文
[1]冷数据存储研究[J]. 王峰,闫汇,刘圆.  电信技术. 2017(06)
[2]大数据环境下冷数据存储技术概述[J]. 姜晓青,王钦若.  工业控制计算机. 2016(06)
[3]社交网站如何“冷”处理海量图片[J]. 技术宅.  电脑爱好者. 2015(12)
[4]基于Ceph的分布式存储节能技术研究[J]. 沈良好,吴庆波,杨沙洲.  计算机工程. 2015(08)
[5]如何存储“冷数据”?[J]. 郭嘉凯.  软件和信息服务. 2013(10)

博士论文
[1]大规模分布式存储技术研究[D]. 魏青松.电子科技大学 2004

硕士论文
[1]面向冷数据存储的分布式编码技术研究与实现[D]. 李元超.华中科技大学 2016
[2]基于HDFS的分布式存储研究与应用[D]. 童明.华中科技大学 2012



本文编号：2993258