面向大数据的分布式存储系统元数据管理技术研究

发布时间：2023-04-22 04:47

　　近年来,随着信息技术的迅猛发展,数据呈现指数式的爆发增长,分布式存储系统应运得到飞速发展,随之而来的存储系统中的性能和安全问题也受到学术界和产业界的广泛关注。Hadoop Distributed File Syetem(HDFS)采用主从架构,作为Google File System(GFS)的一种开源实现,成为目前最受欢迎的一种分布式存储框架。然而,在当前的HDFS框架中,单一的NameNode节点已经无法满足日益增长的数据需求,虽然HDFS对其进行了相应的改进,但未能考虑元数据服务器作为NameNode节点负载均衡的问题。并且,当前的HDFS架构无法应对当前日益严重的数据泄露等安全问题。而拟态防御作为一种新的防御手段,可以有效地改变当前的网络安全格局,已经广泛的应用于各个方面,并得到了实际验证,因此,在当前的HDFS架构应用拟态防御的思想进行拟态化的改造具有十分重要的学术研究意义和实际应用价值。本文依托国家863计划课题“网络空间主动防御体系战略研究(续)”和上海市信息化发展专项资金项目,围绕面向大数据的分布式存储系统元数据管理技术研究,针对当前的HDFS架构存在的性能、安全等问题...

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 课题研究背景与意义
        1.1.1 课题研究背景
        1.1.2 HDFS简介
        1.1.3 拟态防御简介
        1.1.4 研究意义
    1.2 研究现状与问题提出
        1.2.1 研究现状
        1.2.2 问题提出
    1.3 研究内容与贡献
    1.4 章节安排
第二章 基于强化学习的元数据动态负载均衡算法
    2.1 引言
    2.2 设计目标
    2.3 基于Nginx代理的HDFS结构设计
        2.3.1 HDFS基本架构
        2.3.2 引入Nginx代理的HDFS架构
    2.4 相关概念和模型建立
        2.4.1 相关定义
        2.4.2 强化学习模型
        2.4.3 元数据动态负载均衡机制模型
        2.4.4 奖励与目标函数
        2.4.5 算法复杂度分析
    2.5 性能测试与分析
        2.5.1 元数据服务器资源利用率分析
        2.5.2 动态负载均衡分析
        2.5.3 元数据服务器延迟时间超调量与调节时间分析
        2.5.4 元数据分布分析
        2.5.5 实验结论分析
    2.6 小结
第三章 基于拟态的HDFS架构改进及调度优化
    3.1 引言
    3.2 基于拟态防御的HDFS架构
    3.3 问题建模
        3.3.1 概念和符号描述
        3.3.2 模型分析
    3.4 基于执行体异构度、性能和历史置信度的随机种子调度算法
        3.4.1 基于执行体异构度、性能和历史置信度的随机种子调度算法
    3.5 实验结果及分析
        3.5.1 实验环境
        3.5.2 性能分析
    3.6 小结
第四章 一种基于执行体异构度的拟态裁决优化方法
    4.1 引言
    4.2 问题描述与模型建立
        4.2.1 问题描述
        4.2.2 模型建立
    4.3 算法描述
        4.3.1 算法设计
        4.3.2 算法的具体实现
    4.4 实验结果及评估
        4.4.1 算法仿真
        4.4.2 实验结果分析
    4.5 小结
第五章 结束语
    5.1 研究工作总结
    5.2 后续工作展望
致谢
参考文献
作者简历



本文编号：3796945