云环境下I/O密集型应用存储效率研究

发布时间：2024-01-31 00:17

　　云计算技术的发展为大数据的处理和分析提供了计算资源和存储空间的解决方案,以互联网思维进行商业活动为主要方式的电子商务的蓬勃发展,车联网技术的出现,社交网络和自媒体用户迅速增加使得诸如用户浏览记录文件、商品属性文件、音视频文件和图像等数据的以居高不下的势头增长,为了提高对存储规模的适应性,云计算存储设备规模随之不断扩张。对于规模庞大的海量数据文件的传输、处理以及结果文件的处理成为云计算和大数据研发人员日益关注的问题。一方面云计算处理的对象是颇具规模的海量数据集,数据传输至云服务器的速率对I/O密集型应用云计算任务的速度有影响；另一方面,处理结果文件的存储和提取访问间接地对I/O密集型应用的响应速度产生了影响。因此,本文对如何在云计算环境下设计海量文件的传输优化方式和文件优化存储策略进行研究工作,对于提高I/O密集型云计算任务的响应速度和存取效率,有利于数据存储的低消耗。本文以海量数据文件存储管理理论为基础,以现有的开源云计算平台为研究平台,研究云计算环境下I/O密集型应用的存储效率,借助CloudStack开源云平台进行策略的测试和调整。本文具体做了以下的研究工作。1)将I/O密集型云计...

【文章页数】：71 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 引言
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 国内外海量文件存储研究现状
        1.2.2 国内外云计算研究现状
    1.3 论文的研究内容及组织结构
        1.3.1 论文研究内容
        1.3.2 论文组织结构
第2章 云计算概述
    2.1 云计算的定义
    2.2 云计算体系结构
    2.3 云计算服务层次
    2.4 开源云计算平台
        2.4.1 CloudStack云平台
        2.4.2 OpenStack云平台
        2.4.3 Hadoop云平台
    2.5 本章小结
第3章 基于客户端物理机和网络带宽优化策略
    3.1 云计算任务类型
    3.2 分布式存储技术
        3.2.1 存储数据的分类
        3.2.2 分布式存储系统的比较
    3.3 影响存储系统存储效率的因素
        3.3.1 I/O总线
        3.3.2 硬件性能参数
        3.3.3 分布式存储系统网络
    3.4 THU优化策略
        3.4.1 THU策略定义
        3.4.2 基本思想
        3.4.3 THU功能模块
        3.4.4 THU策略流程
        3.4.5 THU策略设计原则
    3.5 CLOUDSTACK实验平台的搭建
        3.5.1 管理节点的安装和配置
        3.5.2 计算节点的安装和配置
        3.5.3 存储节点的安装和配置
    3.6 实验结果与分析
    3.7 本章小结
第4章 并行处理优化策略
    4.1 并行处理技术
        4.1.1 并行处理的含义
        4.1.2 并行处理与并行传输
    4.2 并行处理技术的应用
        4.2.1 流水线技术
        4.2.2 MapReduce编程模式
        4.2.3 分布式资源管理技术
    4.3 并行处理优化策略
        4.3.1 PPS策略定义
        4.3.2 主要思想
        4.3.3 PPS功能模块
        4.3.4 PPS策略流程
    4.4 实验结果与分析
    4.5 本章小结
第5章 总结和展望
    5.1 全文总结
    5.2 工作展望
参考文献
致谢
攻读学位期间所展开的科研项目和发表的学术论文
附录



本文编号：3890615