基于逻辑卷的分级存储系统设计与实现

发布时间：2020-03-19 16:12

【摘要】：随着信息技术的飞速发展,数据呈爆炸式增长,高效存储数据给大规模存储系统的设计、建设和运行带来了巨大的挑战。在大规模存储系统中,各种计算、传输和存储设备无论在性能上还是在可靠性等特性上都存在很大物理差异;同时,实际业务负载对于存储设备的数据存取也并不均匀,在空间和时间上存在很大差异。如果将数据全部存储在高性能设备上是不现实也是不明智的。分级存储概念的提出有效地解决了这个问题,它能对数据存取负载进行有效监控,并能够根据负载和应用需求按照不同存储资源特性进行优化配置。 通过分析文件级数据迁移机制的不足,设计了一种基于逻辑卷的分级存储系统,其能够根据逻辑卷的实时热度自动分配相应的存储资源,从整体上提高了系统数据存储效率。 首先介绍了分级存储系统的应用环境,讨论了系统实现过程中涉及的关键技术,分析了基于用户访问频度和存储设备性能的分级存储系统所引发的相关问题。 其次,对原型系统进行设计和实现,构建了由客户端、管理器和存储资源代理三个部分组成的系统架构,每个部分都包含多个模块,其中用户需求监控模块、存储虚拟化模块和数据迁移模块是核心。用户需求监控模块通过对逻辑卷访问热度的监控,实现了基于用户访问频度的分级存储;存储虚拟化模块通过对存储设备按性能分级实现了对异构资源的统一;数据迁移模块实现了数据在不同性能的存储设备上的迁移,该系统不仅支持在线迁移,保证了前台应用的不中断,而且还可以对迁移速率进行控制,从而有效地提高了用户的访问性能。 最后,通过实验验证了该系统所具有的部分功能,对系统的访问性能进行了评测,并分析了数据迁移对用户访问性能的影响。同时,实验数据表明通过对数据迁移速率进行控制,可以提高10%-40%的前台应用吞吐量。
【图文】：

的分级存储系统的不足后，据实时监控逻辑卷的热度和上不仅减少了存储成本，还 教 育 部 信 息 存 储 重 点 实海量存储系统关键技术”中研究目标如下所示：访问频度和存储设备性能的速和慢速存储设备的三级存构；存储虚拟化软件协调工作，

FUSE 是在用户态实现的一个文件系统框架，因此它屏蔽了文件系统使用户只要在用户空间上实现相关的文件系统接口就可以实现一个文E 的工作原理如图 2.1 所示，程序员使用 FUSE 的工作流程如下所示：（1）挂载文件系统到一个目录如/tmp/fuse；（2）接受用户的请求如 ls -l /tmp/fuse，引发相应的 IO 请求，通过相关请求传入内核，，并交由 VFS 处理；（3）VFS 将请求传递给具体的文件系统 FUSE，FUSE 解析用户空间的（4）经过 FUSE 的转换，用户空间库调用用户空间的相应接口进行处理（5）用户空间库将结果返回给内核；（6）内核将结果返回给调用者；远程过程调用RPC 主要应用在分级存储系统的各个节点，它的主要功能是实现两个
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP333

【参考文献】

相关期刊论文 前10条

1 罗敏;;数据分级存储策略[J];城建档案;2009年05期

2 芥末;;虚拟存储技术的基本实现和常用方式[J];中国传媒科技;2007年01期

3 陈玮娜;在Linux下编制RPC程序[J];电脑编程技巧与维护;2001年11期

4 刘世靖;谢庆胜;陈靓;王伟;;网络负载均衡技术在网站服务器上的应用与探讨[J];电脑知识与技术;2010年20期

5 任戎;;浅谈硬盘数据恢复技术[J];四川文理学院学报;2009年05期

6 王常亮;张春琴;王大伟;;数据恢复技术[J];计算机安全;2008年08期

7 郑培强;;RPC技术在多层分布式应用系统中的实现[J];福建电脑;2006年03期

8 唐兴峰;浅谈数据备份[J];信息技术;2001年08期

9 吴蔚;网络站点的负载均衡技术探索[J];计算机时代;2004年07期

10 曹健;;海量数据分级管理提升应用效力[J];通信世界;2009年04期

相关会议论文 前1条

1 韦建民;;计算机安全管理及数据备份和灾难恢复[A];甘肃保险论文集[C];2004年

相关硕士学位论文 前3条

1 张莉;电子商务文件归档管理研究[D];吉林大学;2007年

2 赵德铭;分级存储系统中文件访问重定向的设计与实现[D];大连海事大学;2008年

3 黄南凤;档案数据备份研究[D];苏州大学;2009年

本文编号：2590445