基于云的大数据处理系统性能优化问题研究
发布时间：2023-05-04 03:27
近年来,人们见证了数据的爆炸式增长,大数据已经开始深入到人们生活的方方面面。为了挖掘海量数据背后潜藏的价值,研究人员提出了 MapReduce并行处理框架,以应对传统数据库技术在处理大数据时的缺陷。MapReduce以“分而治之”的思想通过将海量数据分片到分布式集群中的节点中执行,从而大大提高数据处理的效率。它衍生出了 Hadoop、Spark等开源的大数据处理系统,受到了学术界和工业界的广泛关注。大数据处理系统离不开大量底层基础设施资源的支撑,然而初期昂贵的一次性经济投入以及后期繁杂的运维工作却阻碍了部分中小型企业运用大数据处理系统。因此随着云计算技术的不断发展,越来越多的企业和组织开始将大数据处理迁移到云中进行,充分利用云计算中按需自服务、弹性扩展的优势,缩短数据处理和分析的生命周期,提高生产效率。云计算为大数据处理带来了便利的同时,也给它带来了新的挑战和问题。本文在全面、深入地研究分析了现有的基于云计算的大数据处理系统的相关成果之后,以性能优化为目标,在云中大数据处理虚拟集群的调度、分布式存储系统的数据放置和大数据处理系统的任务调度三个方面展开了研究工作:首先,本文对云计算环境中...
【文章页数】：122 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 论文研究背景
1.1.1 大数据简介
1.1.2 主流的大数据处理系统
1.1.3 基于云的大数据处理系统
1.2 研究问题的提出
1.2.1 基于云的大数据处理系统的新特性和挑战
1.2.2 云计算中面向大数据处理的虚拟集群调度算法
1.2.3 云中HDFS分布式存储的数据块放置算法
1.2.4 云中大数据处理系统的推测性任务执行的优化算法
1.3 论文主要研究工作
1.3.1 论文研究内容
1.3.2 论文组织结构
1.4 本章小结
第2章 基于云的大数据处理系统研究综述
2.1 引言
2.2 基于云的大数据处理系统的架构和服务模式
2.3 基于云的大数据处理系统研究综述
2.3.1 服务部署和弹性扩展问题研究
2.3.2 性能优化问题研究
2.3.3 数据安全问题
2.3.4 数据中心能耗问题
2.3.5 其他相关研究工作
2.4 本章小结
第3章 云中面向大数据处理系统的虚拟集群调度算法
3.1 引言
3.2 大数据处理系统内部网络传输特点分析
3.2.1 MapReduce框架内部网络传输需求的理论分析
3.2.2 大数据处理系统的网络传输性能对应用性能影响的实验验证和分析
3.3 云中的网络共享模型及大数据处理网络性能模型
3.3.1 云中的网络共享模型
3.3.2 大数据处理虚拟集群网络性能模型
3.4 云中面向大数据处理虚拟集群的调度问题建模
3.5 虚拟集群调度算法设计
3.5.1 问题分析
3.5.2 启发式搜索算法设计
3.6 实验评估
3.6.1 实验环境设置及评价指标
3.6.2 实验结果和分析
3.7 相关工作
3.8 本章小结
第4章 基于位置感知的云中HDFS分布式存储的数据块放置算法
4.1 引言
4.2 相关背景和研究动机
4.2.1 背景:HDFS分布式文件系统的设计
4.2.2 研究动机
4.3 LDBAS的数据放置策略和算法设计
4.3.1 LDBAS放置数据块的核心原则
4.3.2 数据初始化写入的分配问题
4.3.3 数据块恢复问题
4.4 实验评估
4.4.1 模拟实验
4.4.2 Hadoop集群实验
4.5 关于LDBAS的讨论
4.6 相关工作
4.7 本章小结
第5章 基于历史信息的云中Hadoop推测性任务执行的优化算法
5.1 引言
5.2 相关背景介绍
5.2.1 MapReduce模型
5.2.2 Hadoop中的推测性执行机制
5.2.3 已有的推测性执行方法
5.3 HIBS:基于历史信息的云中Hadoop推测性任务执行方法
5.3.1 基于历史信息的云中Hadoop推测性任务调度器的整体流程
5.3.2 HIBS各模块设计
5.4 实验分析
5.4.1 实验环境设置及评价指标
5.4.2 实验结果分析
5.5 本章小结
第6章 总结和展望
6.1 主要工作总结
6.2 主要贡献及创新
6.3 未来工作展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
本文编号：3807859
【文章页数】：122 页
【学位级别】：博士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 论文研究背景
1.1.1 大数据简介
1.1.2 主流的大数据处理系统
1.1.3 基于云的大数据处理系统
1.2 研究问题的提出
1.2.1 基于云的大数据处理系统的新特性和挑战
1.2.2 云计算中面向大数据处理的虚拟集群调度算法
1.2.3 云中HDFS分布式存储的数据块放置算法
1.2.4 云中大数据处理系统的推测性任务执行的优化算法
1.3 论文主要研究工作
1.3.1 论文研究内容
1.3.2 论文组织结构
1.4 本章小结
第2章 基于云的大数据处理系统研究综述
2.1 引言
2.2 基于云的大数据处理系统的架构和服务模式
2.3 基于云的大数据处理系统研究综述
2.3.1 服务部署和弹性扩展问题研究
2.3.2 性能优化问题研究
2.3.3 数据安全问题
2.3.4 数据中心能耗问题
2.3.5 其他相关研究工作
2.4 本章小结
第3章 云中面向大数据处理系统的虚拟集群调度算法
3.1 引言
3.2 大数据处理系统内部网络传输特点分析
3.2.1 MapReduce框架内部网络传输需求的理论分析
3.2.2 大数据处理系统的网络传输性能对应用性能影响的实验验证和分析
3.3 云中的网络共享模型及大数据处理网络性能模型
3.3.1 云中的网络共享模型
3.3.2 大数据处理虚拟集群网络性能模型
3.4 云中面向大数据处理虚拟集群的调度问题建模
3.5 虚拟集群调度算法设计
3.5.1 问题分析
3.5.2 启发式搜索算法设计
3.6 实验评估
3.6.1 实验环境设置及评价指标
3.6.2 实验结果和分析
3.7 相关工作
3.8 本章小结
第4章 基于位置感知的云中HDFS分布式存储的数据块放置算法
4.1 引言
4.2 相关背景和研究动机
4.2.1 背景:HDFS分布式文件系统的设计
4.2.2 研究动机
4.3 LDBAS的数据放置策略和算法设计
4.3.1 LDBAS放置数据块的核心原则
4.3.2 数据初始化写入的分配问题
4.3.3 数据块恢复问题
4.4 实验评估
4.4.1 模拟实验
4.4.2 Hadoop集群实验
4.5 关于LDBAS的讨论
4.6 相关工作
4.7 本章小结
第5章 基于历史信息的云中Hadoop推测性任务执行的优化算法
5.1 引言
5.2 相关背景介绍
5.2.1 MapReduce模型
5.2.2 Hadoop中的推测性执行机制
5.2.3 已有的推测性执行方法
5.3 HIBS:基于历史信息的云中Hadoop推测性任务执行方法
5.3.1 基于历史信息的云中Hadoop推测性任务调度器的整体流程
5.3.2 HIBS各模块设计
5.4 实验分析
5.4.1 实验环境设置及评价指标
5.4.2 实验结果分析
5.5 本章小结
第6章 总结和展望
6.1 主要工作总结
6.2 主要贡献及创新
6.3 未来工作展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果
本文编号：3807859
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3807859.html
