面向节能与可靠性的混合文件系统的研究与设计

发布时间：2020-05-14 05:46

【摘要】：目前,数据中心存储容量逐年增加,能耗消耗也在逐年提高。虽然对于节能存储研究也一直在继续,但是节能存储技术仍然面临着许多问题。首先,能量节省与可靠性的对立面难以打破;其次,在节能的同时保证系统的可靠性也是一个研究难点。本文通过对现有技术的分析,以及开源系统的利用,提出了一个面向节能与可靠性的混合存储方案,并实现了相应的原型系统。主要工作如下:第一,本文设计并提出了一个面向节能与可靠性的混合存储方案。本方案将基于固态硬盘的文件系统以及基于机械磁盘的文件系统无缝整合在一起,并通过一个统一的中间层系统,为上层应用提供数据访问支持。因为两个文件系统之间相互独立,所以对于系统可靠性影响并不大。本方案可以根据数据的访问频率,将数据分发到不同的文件系统中,以达到加速文件读取的目的。此外,通过调整基于机械磁盘的文件系统所在节点的功率,可以达到节点级的节能效果。第二,本文实现了一个面向节能与可靠性的混合存储方案的原型系统。此系统的核心是一个用户态文件系统,对上通过FUSE挂载在操作系统上,可以为用户提供POSIX的标准接口,对下通过调用并行文件系统接口,将数据存储在物理设备上。此系统配置了两个底层的并行文件系统,一个是基于固态硬盘的并行文件系统,它可以存储访问频率较高的数据,另外一个是基于机械磁盘的并行文件系统,它用来存储访问频率较低的数据。当系统整体工作负载处于较低的水平时,可以通过调整基于机械磁盘的文件系统所在节点功率,来达到节能的效果。通过对于试验结果的分析,系统性能基本达到了设计预期。实验的I/O性能曲线显示,与对照组系统模型相比,此系统的带宽提高了 60%左右。在能耗方面,两个底层文件系统同时提供数据访问支持时,可以节省大约30%-40%的能量消耗,如果只对访问频率较高的数据提供支持,则可以节省70%以上的能量消耗。由于采用了调整功率的节能措施,此系统在可靠性方面付出了大约15%的代价。
【图文】：

文件系统逦内核驱动逡逑图２．３邋ＦＵＳＥ模块整体结构［４７］逡逑如图２．３所展示的ＦＵＳＥ的整体结构。当一个进程对通过ＦＵＳＥ挂载的系统进逡逑行操作时，Ｌｉｎｕｘ的虚拟文件系统（ＶＦＳ）会捕获这些操作，并将其转发给ＦＵＳＥ的逡逑内核驱动。此驱动会分配一个ＦＵＳＥ请求结构体，并将其压入到ＦＵＳＥ队列中。一逡逑般情况下，刚压入队列的ＦＵＳＥ请求被标记为等待状态。然后用户态守护进程通过逡逑读取／ｄｅｖ／ｆｕｓｅ块设备，获得内核队列中的ＦＵＳＥ请求，并对此请求进行相应的处理。逡逑１８逡逑

以及Ｎ－１段页（Ｎ－ｌ邋Ｓｅｇｍｅｎｔ）模式，这两个Ｎ－１模式都是多个进程共享同一个逡逑检查点文件，但在细节上又各有不同，下面就具体介绍这种三种检查点文件模式。逡逑如图２．４所示，，每个子图中的矩形区域代表一个计算机节点，矩形内的圆形代逡逑表进程，进程下方的阴影部分代表该进程的数据块，节点下方的圆柱体为底层并行逡逑文件系统。每个子图描述了三个节点，一共六个进程，每个进程三个数据块，进行逡逑检查点写入的过程。在Ｎ－Ｎ模式下，每个进程都拥有自己独立的检查点文件，并按逡逑照时间的顺序将进程的数据块写入到各自的文件中，因此六个进程就需要在文件系逡逑统中创建六个文件。在Ｎ－１邋Ｓｅｇｍｅｎｔ模式下，所有进程共享同一个检查点文件，此文逡逑件会为每个进程预先分配各自的数据区域，每个进程只允许将各自的数据块写入到逡逑分配好的区域内，各个进程的数据块之间不会出现交叉重叠的现象。在Ｎ－ｌｓｔｒｉｄｅｄ逡逑模式下
【学位授予单位】：湖南大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【参考文献】

相关期刊论文 前2条

1 林闯;田源;姚敏;;绿色网络和绿色评价:节能机制、模型和评价[J];计算机学报;2011年04期

2 谷立静;周伏秋;孟辉;;我国数据中心能耗及能效水平研究[J];中国能源;2010年11期

相关博士学位论文 前3条

1 葛雄资;基于预取的磁盘存储系统节能技术研究[D];华中科技大学;2012年

2 谢晓玲;磁盘存储系统节能关键技术研究[D];华南理工大学;2012年

3 岳银亮;存储系统低能耗数据布局技术研究[D];华中科技大学;2010年

相关硕士学位论文 前2条

1 宋驰;基于异构存储服务器的节能调度机制的研究[D];华中科技大学;2015年

2 杨雷;面向新闻大数据的节能存储策略研究[D];重庆大学;2015年

本文编号：2662893