集群环境下海量数据存储管理技术的研究

发布时间：2023-08-06 17:27

　　在石油勘探、遥感等领域中,海量数据文件经常以TB数量级别出现。在存储的过程中,时常由于单一存储设备的容量不足而导致海量数据文件无法存储,只能通过添加新的存储设备解决问题。当前许多技术都提供了将多个盘阵处理为一个虚拟盘的功能,以适应对TB级数据的存储。但这仍然不能避免多个存储系统中的“边缘”数据存储的问题,即一个磁盘系统剩余容量只能存储地震数据的一部分。其次,多种存储设备(例如磁带机)存储方法不同,造成在存储海量数据时不能统一有效的进行存储,而是需要通过转录等形式,降低了存储设备的存储效率,极大的影响了企业的工作效率。集群环境下,海量数据的存储还依赖于节点间高效的任务调度,资源的使用越平衡,作业响应时间就越短。所以一个适合的节点间任务调度算法对于缩短作业平均响应时间,提高节点资源平均使用效率进而提高海量数据存储性能有着非常重要的作用。 由于以上的原因,相关领域中亟需要一种在集群环境下能够对海量数据进行存储管理的模型机制。在这种模型机制中,各种介质存储设备将进行统一存储、海量数据将跨盘跨介质存储并且采用高效的任务调度算法以缩短作业平均响应时间,提高存储效率。提出相应的跨盘存储方法和调度算法...

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
创新点摘要
目录
第一章 绪论
    1.1 海量数据存储机制的意义
    1.2 课题研究现状
        1.2.1 海量数据跨盘存储研究现状
        1.2.2 集群环境下负载平衡算法研究现状
    1.3 本文的研究任务
        1.3.1 研究目标
        1.3.2 研究任务
        1.3.3 论文结构
    1.4 本章小结
第二章 多介质存储设备统一存储机制
    2.1 概述
    2.2 多介质存储设备统一存储体系结构
    2.3 多介质存储设备统一存储驱动层—管道解决方案
        2.3.1 管道和进程介绍
        2.3.2 管道驱动解决方案
    2.4 多介质存储设备统一存储驱动层—系统调用解决方案
        2.4.1 系统调用介绍
        2.4.2 系统调用驱动解决方案
    2.5 驱动层解决方案的对比
        2.5.1 缓冲区
        2.5.2 数据安全
    2.6 多介质存储设备统一存储方法层
    2.7 本章小结
第三章 海量数据跨盘存储机制
    3.1 概述
    3.2 海量数据跨盘存储机制的体系架构
        3.2.1 用户配置跨盘信息模块
        3.2.2 跨盘文件信息模块
        3.2.3 海量数据跨盘存储策略
    3.3 海量数据跨盘存储机制的实现
    3.4 本章小结
第四章 集群环境下节点间负载平衡
    4.1 概述
    4.2 一种存储集群的任务调度算法和负载平衡策略
        4.2.1 集群环境概述
        4.2.2 负载平衡策略
        4.2.3 任务调度算法
        4.2.4 任务再分配
        4.2.5 性能分析
    4.3 本章小结
第五章 原型系统设计与实现
    5.1 海量数据跨盘存储机制系统原型
    5.2 海量数据跨盘统一存储方法
        5.2.1 lf_open(打开文件)
        5.2.2 lf_close(关闭文件)
        5.2.3 lf_read(由已打开的文件读取数据)
        5.2.4 lf_write(将数据写入已打开的文件内)
        5.2.5 lf_lseek(移动文件的读写位置)
        5.2.6 lf_del(删除文件)
    5.3 海量数据跨盘存储方法测试
        5.3.1 测试概述
        5.3.2 测试方案
        5.3.3 测试结果
    5.4 集群任务调度算法测试
    5.5 本章小结
结论
参考文献
发表文章目录
致谢
详细摘要



本文编号：3839741