云环境下海量小文件存储性能的研究与优化
发布时间：2023-03-12 19:10
如今人们已经进入云时代,该环境下存储文件与用户数据呈现快速上升趋势,云存储的重要性也日益凸显。基于云理念下面向保存海量数据而制定的一种解决方案,被称作云存储,云存储技术的关键在于运用集群技术、分布式文件系统在云端集中管理散落在网络上的存储资源,以满足云环境下数据的存储需求。大数据存储技术中应用范围最广且最成熟的为HDFS系统,基于HDFS自身存储机制,在处理大量小文件时,面临名字节点内存较小等问题。因此,通过HDFS系统上的优化策略读取与文件存储技术分析,在探讨处理大数据处理、海量小文件方面具有一定现实意义。以下为本文完成的工作内容:(1)本文提出PS文件合并算法,本算法主要用于存储海量小文件方面,可以达到数据块与文件关联关系的相互平衡,组合多个小文件为大文件后在HDFS系统上保存,合并所有文件信息后保存在Redis内,利用本算法可以最大限度的使用较少的数据保存信息。基于本算法建立HMM中间层对海量小文件处理,获取HDFS上数据过程中采用缓存方式使得读取信息效率更高。(2)基于Hadoop的分布式文件系统框架,根据小文件上的扩展名分为不同类型进行处理,完成后再组合为一个大文件,从而消耗...
【文章页数】：78 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景与意义
1.2 研究现状
1.2.1 HDFS处理海量小文件的研究现状
1.2.2 云存储系统的应用现状
1.3 主要研究内容
1.4 论文组织结构
第二章 相关技术的研究
2.1 分布式集群Hadoop相关技术
2.2 Hadoop分布式文件系统(HDFS)
2.2.1 HDFS的组成和读写流程
2.2.2 HDFS的缺陷
2.3 HBase
2.3.1 HBase结构组成
2.3.2 HBase的请求处理流程
2.4 Redis
2.5 本章小结
第三章 小文件存储系统的分析与设计
3.1 功能性需求分析
3.1.1 用户角色定义
3.1.2 用户功能分析
3.2 性能需求分析
3.2.1 快速访问
3.2.2 高效的存储访问
3.2.3 高可靠性
3.2.4 缓存需求
3.2.5 负载均衡
3.2.6 廉价成本和高可扩容性
3.3 云存储系统的设计
3.3.1 云存储系统的优化指标的分析
3.3.2 基于Redis集群的小文件解决方案
3.3.2.1 海量小文件存储问题
3.3.2.2 基于Redis集群的小文件解决方案
3.3.3 系统整体架构
3.4 云存储系统模块设计
3.4.1 用户接口模块设计
3.4.2 预处理模块设计
3.4.3 文件合并模块设计
3.4.4 索引模块设计
3.4.5 缓存模块设计
3.4.6 提取模块设计
3.4.7 任务分发模块设计
3.4.8 前台模块设计
3.5 本章小结
第四章 小文件存储系统的实现
4.1 预处理模块的实现
4.2 文件合并模块的实现
4.2.1 基于文件类型的小文件合并算法提出背景
4.2.2 算法设计与实现
4.3 索引模块的实现
4.3.1 基于文件类型的合并文件元数据多级索引算法的提出
4.3.2 算法的设计和实现
4.4 缓存模块的实现
4.4.1 缓存管理算法设计
4.4.2 缓存管理算法的实现
4.4.3 缓存区一致性
4.5 提取模块的实现
4.5.1 写文件
4.5.2 读文件
4.6 任务分发模块的实现
4.7 前台模块的实现
4.8 本章小结
第五章 系统测试及分析
5.1 平台测试环境
5.1.1 集群搭建
5.1.2 集群参数配置
5.1.3 网络文件系统配置
5.2 实验验证与分析
5.2.1 功能测试
5.2.2 性能测试
5.3 实验结论分析
5.4 本章小结
第六章 总结和展望
6.1 工作总结
6.2 未来展望
致谢
参考文献
本文编号：3761789
【文章页数】：78 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 研究背景与意义
1.2 研究现状
1.2.1 HDFS处理海量小文件的研究现状
1.2.2 云存储系统的应用现状
1.3 主要研究内容
1.4 论文组织结构
第二章 相关技术的研究
2.1 分布式集群Hadoop相关技术
2.2 Hadoop分布式文件系统(HDFS)
2.2.1 HDFS的组成和读写流程
2.2.2 HDFS的缺陷
2.3 HBase
2.3.1 HBase结构组成
2.3.2 HBase的请求处理流程
2.4 Redis
2.5 本章小结
第三章 小文件存储系统的分析与设计
3.1 功能性需求分析
3.1.1 用户角色定义
3.1.2 用户功能分析
3.2 性能需求分析
3.2.1 快速访问
3.2.2 高效的存储访问
3.2.3 高可靠性
3.2.4 缓存需求
3.2.5 负载均衡
3.2.6 廉价成本和高可扩容性
3.3 云存储系统的设计
3.3.1 云存储系统的优化指标的分析
3.3.2 基于Redis集群的小文件解决方案
3.3.2.1 海量小文件存储问题
3.3.2.2 基于Redis集群的小文件解决方案
3.3.3 系统整体架构
3.4 云存储系统模块设计
3.4.1 用户接口模块设计
3.4.2 预处理模块设计
3.4.3 文件合并模块设计
3.4.4 索引模块设计
3.4.5 缓存模块设计
3.4.6 提取模块设计
3.4.7 任务分发模块设计
3.4.8 前台模块设计
3.5 本章小结
第四章 小文件存储系统的实现
4.1 预处理模块的实现
4.2 文件合并模块的实现
4.2.1 基于文件类型的小文件合并算法提出背景
4.2.2 算法设计与实现
4.3 索引模块的实现
4.3.1 基于文件类型的合并文件元数据多级索引算法的提出
4.3.2 算法的设计和实现
4.4 缓存模块的实现
4.4.1 缓存管理算法设计
4.4.2 缓存管理算法的实现
4.4.3 缓存区一致性
4.5 提取模块的实现
4.5.1 写文件
4.5.2 读文件
4.6 任务分发模块的实现
4.7 前台模块的实现
4.8 本章小结
第五章 系统测试及分析
5.1 平台测试环境
5.1.1 集群搭建
5.1.2 集群参数配置
5.1.3 网络文件系统配置
5.2 实验验证与分析
5.2.1 功能测试
5.2.2 性能测试
5.3 实验结论分析
5.4 本章小结
第六章 总结和展望
6.1 工作总结
6.2 未来展望
致谢
参考文献
本文编号：3761789
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3761789.html
