基于蓝光技术的海量数据光磁融合存储研究
发布时间：2020-12-11 05:06
随着互联网的普及和广泛应用,人类社会所产生的视频数据、图像数据、文档数据等呈爆炸式增长,一个海量数据的时代已经来临。按照IDC咨询公司公布的《数字宇宙》研究报告,在2020年全球的数据总量将跨越40ZB(约合4000万TB)。面对如此庞大的数据规模,如何长期、安全、可靠并且低成本的存储这些数据,成为大数据时代人类信息化技术发展首先要解决的问题。但是以磁盘或磁带进行数据存储的传统数据存储方式,存在高成本、高能耗、高风险等弊端,难以满足信息技术发展和环境可持续性的双重要求。本文以蓝光存储技术为底层存储空间,构建光磁融合系统实现光、磁两种存储空间的统一管理,同时基于数据存储的“二八”定律或行业实际情况设定存储策略,合理分配存储介质,实现数据存储的有效、经济。相关工作内容如下:1、本文以蓝光存储技术现有的API接口实现从存储网关到蓝光存储空间的交互,进而实现从存储网关同时对磁盘存储空间和蓝光存储空间操作,用户可用通过命令行实现数据的存储、归档等操作。存储网关的数据库实现对存储、归档的数据信息进行管理,数据的状态值(status值)用来表示数据对象的存储位置,即在磁盘存储空间中还是在蓝光存储空间...
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
硬盘使用率分析图
图 1-2 MapReduce 计算模式示意图Figure 1-2 MapReduce calculation mode过以上的工作模型，可有效解决海量数据同时存储、调用所需要的过对 Hadoop 框架的管理节点进行集群化设计可进一步强化系统的展性[27]，并且磁盘存储集群的扩展能力也能实现存储空间的不断扩存储设备数量）[28]，从而满足海量数据存储空间的需求。研究内容于以上的背景分析和现状调查，若要在大数据时代服务于海量数据在现有磁存储设备能力和应用手段的基础上增加新的存储介质和介质方面本课题尝试以蓝光存储介质作为现有磁存储的补充，发挥据上的不同优势，形成优势互补，在方法上寻求一种自动管理存储合理分配存储空间，实现海量数据存储的长期、经济、可靠。因此
图 2-1 蓝光光盘库示意图Figure 2-1 The Data Archiver Manager同时蓝光光盘库根据不同应用场景和存储容量，分为桌面级、企业级、和数据中心级四类，数据中心级蓝光光盘库拥有一个基本单元、四个冷数单元可实现单机柜 1.96PB 的存储容量。.3 优势总结通过对蓝光存储技术的介绍，若将蓝光存储应用于数据存储方面，蓝光同比磁带、磁盘等存储介质将具有存储密度大、存储能耗低、介质寿命长：存储密度大：现采用 300GB/张的蓝光光盘，可实现单机柜 1.96PB 的存，已知在实验室中已实现 1.6TB/张的光盘，如果实现工业化，蓝光光盘库存储容量将突破 10PB，同比单机柜的磁盘或磁盘具有更大的存储密度。
【参考文献】：
期刊论文
[1]《工业和信息化部关于加强“十三五”信息通信业节能减排工作的指导意见》节选(一)[J]. 张莹婷. 工业炉. 2017(04)
[2]蓝光存储在电子档案长期存储中的应用研究[J]. 庞海涛,王红林,周传辉. 档案学研究. 2017(03)
[3]冷数据存储研究[J]. 王峰,闫汇,刘圆. 电信技术. 2017(06)
[4]降低数据中心PUE值的方法研究[J]. 许文民. 科技与创新. 2016(20)
[5]基于统计量的存储系统磁盘功耗建模方法研究[J]. 孙鉴,李战怀,张晓,王惠峰,赵晓南. 计算机研究与发展. 2016(07)
[6]大数据环境下冷数据存储技术概述[J]. 姜晓青,王钦若. 工业控制计算机. 2016(06)
[7]基于云平台OpenStack的对象存储Swift的研究[J]. 蔡新霞. 福建广播电视大学学报. 2014(06)
[8]信息存储的万年进化史[J]. 安素. 大科技(百科新说). 2014(12)
[9]基于Hadoop的海量数据存储系统设计[J]. 王海荣,刘珂. 科技通报. 2014(09)
[10]OpenStack Swift关键技术分析与性能评测[J]. 葛江浩,刘磊,李小勇. 微型电脑应用. 2013(11)
硕士论文
[1]HDFS分布式文件系统存储策略研究[D]. 周小玉.电子科技大学 2015
[2]海量非结构化数据的组织研究与实现[D]. 邹波.华中科技大学 2008
本文编号：2909952
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
硬盘使用率分析图
图 1-2 MapReduce 计算模式示意图Figure 1-2 MapReduce calculation mode过以上的工作模型，可有效解决海量数据同时存储、调用所需要的过对 Hadoop 框架的管理节点进行集群化设计可进一步强化系统的展性[27]，并且磁盘存储集群的扩展能力也能实现存储空间的不断扩存储设备数量）[28]，从而满足海量数据存储空间的需求。研究内容于以上的背景分析和现状调查，若要在大数据时代服务于海量数据在现有磁存储设备能力和应用手段的基础上增加新的存储介质和介质方面本课题尝试以蓝光存储介质作为现有磁存储的补充，发挥据上的不同优势，形成优势互补，在方法上寻求一种自动管理存储合理分配存储空间，实现海量数据存储的长期、经济、可靠。因此
图 2-1 蓝光光盘库示意图Figure 2-1 The Data Archiver Manager同时蓝光光盘库根据不同应用场景和存储容量，分为桌面级、企业级、和数据中心级四类，数据中心级蓝光光盘库拥有一个基本单元、四个冷数单元可实现单机柜 1.96PB 的存储容量。.3 优势总结通过对蓝光存储技术的介绍，若将蓝光存储应用于数据存储方面，蓝光同比磁带、磁盘等存储介质将具有存储密度大、存储能耗低、介质寿命长：存储密度大：现采用 300GB/张的蓝光光盘，可实现单机柜 1.96PB 的存，已知在实验室中已实现 1.6TB/张的光盘，如果实现工业化，蓝光光盘库存储容量将突破 10PB，同比单机柜的磁盘或磁盘具有更大的存储密度。
【参考文献】：
期刊论文
[1]《工业和信息化部关于加强“十三五”信息通信业节能减排工作的指导意见》节选(一)[J]. 张莹婷. 工业炉. 2017(04)
[2]蓝光存储在电子档案长期存储中的应用研究[J]. 庞海涛,王红林,周传辉. 档案学研究. 2017(03)
[3]冷数据存储研究[J]. 王峰,闫汇,刘圆. 电信技术. 2017(06)
[4]降低数据中心PUE值的方法研究[J]. 许文民. 科技与创新. 2016(20)
[5]基于统计量的存储系统磁盘功耗建模方法研究[J]. 孙鉴,李战怀,张晓,王惠峰,赵晓南. 计算机研究与发展. 2016(07)
[6]大数据环境下冷数据存储技术概述[J]. 姜晓青,王钦若. 工业控制计算机. 2016(06)
[7]基于云平台OpenStack的对象存储Swift的研究[J]. 蔡新霞. 福建广播电视大学学报. 2014(06)
[8]信息存储的万年进化史[J]. 安素. 大科技(百科新说). 2014(12)
[9]基于Hadoop的海量数据存储系统设计[J]. 王海荣,刘珂. 科技通报. 2014(09)
[10]OpenStack Swift关键技术分析与性能评测[J]. 葛江浩,刘磊,李小勇. 微型电脑应用. 2013(11)
硕士论文
[1]HDFS分布式文件系统存储策略研究[D]. 周小玉.电子科技大学 2015
[2]海量非结构化数据的组织研究与实现[D]. 邹波.华中科技大学 2008
本文编号：2909952
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2909952.html
