基于虚拟网格存储动态执行过程的研究
发布时间：2020-12-23 21:04
本文主要进行动态网格存储研究,通过Erasure研究解决网格存储的冗余和备份问题,通过DHT解决网格存储的动态执行过程,从Grid网格存储入手解决动态资源调度执行过程。研究发现在满足用户需求的前提下,可提高存储资源的利用率,减少碎片化的概率。
【文章来源】：信阳农林学院学报. 2020年01期
【文章页数】：4 页
【部分图文】：
SNIA存储虚拟技术的分类图
Storage GRID存储和管理大规模非结构化数据的下一代对象存储,2017年NetApp推出了NetApp Storage GRID Webscale将存储网格推向新的高度,NetApp在用户端与SAN之间添加中继层,扩展存储网格。然而学术界尚未对网格存储引起足够重视,存储网格为公有云提供了共享数据,分散用户对数据的频繁换进和换出,处理器以block块为调度单位的颗粒度的较大,进一步细分Data Blocks,提供颗粒度更细的内容存储,提高存储资源的利用效率[7],图2为DataBlocks数据结构图。将分散的DataBlocks定义为D={D1,D2,L,Dn},其中n表示 DataBlocks的数目,其资源在虚拟机的位置集合V={V1,V2,L,Vm},m表示虚拟机的总数。物理机上虚拟机位置向量为H={hi1,hi2,L,Dim},当系统调用存储资源时,需要消耗cpu、内存、网络带宽和存储用向量Pi=(SCi,SMi,SNi,SHi)表示,相应的虚拟机的系统态资源GridTablei=(sci,smi,sni,shi)。F=min(Pused),物理资源使用越少,资源利用率越高。
Erasure Code对N个Data blocks原始数据块进行编码,编码后产生M个数据块(M>N),从编码后的M个数据块进行解码还原出原始数据块,而部分存储的损失,不影响数据的恢复[9]。根据图3可知,如n2、n4、n6出现存储故障,系统态会从其他节点或硬盘把n2、n4、n6数据进行重建出来,n1、n3、n5、m1、m2、m3为一个EC条带,当校验块增大时,开销增大,图3为DataBlack的Erasure Code冗余备份图。Erasure code编码解决了存储的稳定性,提高了空间的利用效率,但编码、解码尚属于复杂的数学运算,是以牺牲一定的计算性能为代价的。目前erasure code还仅适用于对冷数据的离线处理阶段,如何从根本上降低erasure code带来的performance overhead,使得编码存储技术得以真正大量适用,将为大数据存储[8]带来不容质疑的重大意义。当前,Microsoft、Google、Facebook、Amazon、阿里巴巴等互联网巨头将erasure code编码存储技术应用于主流存储系统中。
【参考文献】：
期刊论文
[1]基于Erasure code的实时流媒体传输系统[J]. 王俊博,邢凯. 计算机应用与软件. 2017(10)
[2]摩尔定律发展述评[J]. 逄健,刘佳. 科技管理研究. 2015(15)
[3]一种基于Erasure Code的分布式文件系统模型[J]. 董科军,冯家宏,阎保平. 计算机工程. 2005(20)
本文编号：2934356
【文章来源】：信阳农林学院学报. 2020年01期
【文章页数】：4 页
【部分图文】：
SNIA存储虚拟技术的分类图
Storage GRID存储和管理大规模非结构化数据的下一代对象存储,2017年NetApp推出了NetApp Storage GRID Webscale将存储网格推向新的高度,NetApp在用户端与SAN之间添加中继层,扩展存储网格。然而学术界尚未对网格存储引起足够重视,存储网格为公有云提供了共享数据,分散用户对数据的频繁换进和换出,处理器以block块为调度单位的颗粒度的较大,进一步细分Data Blocks,提供颗粒度更细的内容存储,提高存储资源的利用效率[7],图2为DataBlocks数据结构图。将分散的DataBlocks定义为D={D1,D2,L,Dn},其中n表示 DataBlocks的数目,其资源在虚拟机的位置集合V={V1,V2,L,Vm},m表示虚拟机的总数。物理机上虚拟机位置向量为H={hi1,hi2,L,Dim},当系统调用存储资源时,需要消耗cpu、内存、网络带宽和存储用向量Pi=(SCi,SMi,SNi,SHi)表示,相应的虚拟机的系统态资源GridTablei=(sci,smi,sni,shi)。F=min(Pused),物理资源使用越少,资源利用率越高。
Erasure Code对N个Data blocks原始数据块进行编码,编码后产生M个数据块(M>N),从编码后的M个数据块进行解码还原出原始数据块,而部分存储的损失,不影响数据的恢复[9]。根据图3可知,如n2、n4、n6出现存储故障,系统态会从其他节点或硬盘把n2、n4、n6数据进行重建出来,n1、n3、n5、m1、m2、m3为一个EC条带,当校验块增大时,开销增大,图3为DataBlack的Erasure Code冗余备份图。Erasure code编码解决了存储的稳定性,提高了空间的利用效率,但编码、解码尚属于复杂的数学运算,是以牺牲一定的计算性能为代价的。目前erasure code还仅适用于对冷数据的离线处理阶段,如何从根本上降低erasure code带来的performance overhead,使得编码存储技术得以真正大量适用,将为大数据存储[8]带来不容质疑的重大意义。当前,Microsoft、Google、Facebook、Amazon、阿里巴巴等互联网巨头将erasure code编码存储技术应用于主流存储系统中。
【参考文献】：
期刊论文
[1]基于Erasure code的实时流媒体传输系统[J]. 王俊博,邢凯. 计算机应用与软件. 2017(10)
[2]摩尔定律发展述评[J]. 逄健,刘佳. 科技管理研究. 2015(15)
[3]一种基于Erasure Code的分布式文件系统模型[J]. 董科军,冯家宏,阎保平. 计算机工程. 2005(20)
本文编号：2934356
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2934356.html
