云计算环境下数据管理与任务调度优化策略研究

发布时间：2017-08-30 09:31

  本文关键词：云计算环境下数据管理与任务调度优化策略研究

  更多相关文章： 云计算 云存储 节点失效 服务成本 服务质量

【摘要】：云计算拓宽了用户可访问资源的范围,构建了一种以服务形式弹性、按需获取各类信息资源的架构,成为当前多种信息应用部署和扩展的坚实基础环境。云计算强化了面向服务计算的理念,其处理的对象被视为来自用户的各类数据,满足用户需求和实现资源利用效率的提高是云计算系统处理和优化管理各类数据的出发点。受到网络环境、资源分布情况、服务形态,以及模式等因素的影响,数据的优化管理和高效调度问题面临诸多挑战。 在总结云计算中数据管理和优化调度成果的基础上,本文分别从数据的利用效率、各类环境因素的影响和物理节点失效等角度,重点考虑了运营成本最优化的问题,从数据管理和优化调度的角度进行了较深入的探讨,给出了基于热度的数据部署策略、部署节点性能的综合度量方法和应对节点失效的数据修复机制,并通过仿真和实验的方式进行了验证。成果将有利于云计算服务提供商在保证服务质量的前提下,实现运营成本的优化,具有较大的理论和现实意义。 本文的主要研究工作和创新成果如下。 1)提出了基于热度的数据块优化存储策略,实现了服务成本最优的数据块部署。针对常采用的对数据进行分块和分布式冗余存储的机制,引入数据块热度(用户对数据块的兴趣需求)的概念,给出了不同热度数据块应具备的最优冗余存储个数；进一步考虑被用来部署服务数据节点的成本差异,得到了一种满足用户需求的存储数据块的最小服务成本策略；通过引入调整因子,得到可针对不同负载情况的自适应数据块最小服务成本策略。 2)提出了一种刻画可用节点服务性能的综合度量方法,能实现多指标影响下的数据块优化调度部署。针对数据块的业务特性,从节点成本、负载率、带宽、网络延迟和任务的计算复杂度等角度考虑了备选部署节点的综合效用值,给出一种综合效用评价指标,并在此基础上,得到了服务质量优化的任务调度模型和策略。 3)给出了一种能够应对节点失效的数据恢复方法,保证在服务总成本最小的情况下数据的高效恢复和使用。为应对云计算系统中的节点失效带来的数据丢失和错误,我们提出了一种基于差异对待的数据重新备份和部署机制,考虑数据块的热度,设计了选择性恢复算法和成本矩阵调整因子,实现了数据的弹性恢复,并在不改变存储数据块最小服务总成本的情况下,提高了用户对内容访问的服务性能。
【关键词】：云计算 云存储 节点失效 服务成本 服务质量
【学位授予单位】：北京科技大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP333;TP315
【目录】：

• 致谢4-5
• 摘要5-7
• Abstract7-12
• 插图清单12-14
• 附表清单14-15
• ~.写清单15-16
• 1 引言16-24
• 1.1 课题研究背景16-19
• 1.2 课题研究意义19
• 1.3 研究内容与成果19-22
• 1.4 论文组织结构22-24
• 2 背景知识与相关工作24-44
• 2.1 本章引论24
• 2.2 云计算及其关键技术24-38
• 2.2.1 云计算的体系结构25-26
• 2.2.2 云计算的服务模式26-27
• 2.2.3 云计算的优势分析27-28
• 2.2.4 云计算的国内外发展现状28-30
• 2.2.5 云计算的关键技术及现状30-38
• 2.3 云计算环境下的数据管理与任务调度存在的问题38-43
• 2.3.1 数据管理38-41
• 2.3.2 任务调度41-42
• 2.3.3 容错机制42-43
• 2.4 本章小结43-44
• 3 云计算环境下成本优化存储策略44-67
• 3.1 本章引论44
• 3.2 相关工作与问题描述44-48
• 3.2.1 相关工作46-47
• 3.2.2 问题描述47-48
• 3.3 数学模型48-53
• 3.3.1 术语与符号48-49
• 3.3.2 最小成本的数据块存储模型49-50
• 3.3.3 最优存储策略的存在性分析50-53
• 3.4 模型参数讨论53-54
• 3.4.1 服务成本53
• 3.4.2 数据块副本个数函数53-54
• 3.4.3 服务质量54
• 3.5 优化策略54-60
• 3.5.1 成本矩阵调整因子55
• 3.5.2 模型(3-1)的MCSB策略55-57
• 3.5.3 模型(3-2)的MCSB策略57-58
• 3.5.4 自适应数据节点内的存储策略58-60
• 3.6 实验分析60-65
• 3.6.1 环境设置60-61
• 3.6.2 结果分析61-65
• 3.7 本章小结65-67
• 4 云计算环境下一种服务质量优化的任务调度策略67-87
• 4.1 本章引言67
• 4.2 相关工作和问题分析67-71
• 4.2.1 相关工作68-70
• 4.2.2 问题分析70-71
• 4.3 服务质量优化的任务调度架构71-78
• 4.3.1 任务初始化71-72
• 4.3.2 网络坐标系的建立72-74
• 4.3.3 服务质量和服务等级74
• 4.3.4 数学模型74-78
• 4.4 任务调度策略78-81
• 4.4.1 系统负载78
• 4.4.2 任务调度策略78-81
• 4.5 实验分析81-86
• 4.5.1 合理性分析81-82
• 4.5.2 整个系统的服务性能测试82-86
• 4.6 本章小结86-87
• 5 云节点失效情况下的资源部署优化策略87-104
• 5.1 本章引论87
• 5.2 相关工作与问题描述87-91
• 5.2.1 相关工作88-90
• 5.2.2 问题描述90-91
• 5.3 数学模型91-94
• 5.3.1 符号和定义91-92
• 5.3.2 数据选择性恢复算法92-93
• 5.3.3 数学模型93-94
• 5.4 模型参数确定94-95
• 5.5 优化策略95-99
• 5.5.1 成本优化95-96
• 5.5.2 资源部署优化策略96-99
• 5.6 实验分析99-103
• 5.7 本章小结103-104
• 6 总结与展望104-106
• 6.1 论文工作总结104
• 6.2 未来展望104-106
• 参考文献106-118
• 作者简历及在学研究成果118-123
• 学位论文数据集123

【参考文献】

中国期刊全文数据库 前10条

1 马艳;龚斌;邹立达;;基于平衡定价和成本梯度的科学工作流调度策略[J];电子学报;2010年10期

2 吴吉义;傅建庆;平玲娣;谢琪;;一种对等结构的云存储系统研究[J];电子学报;2011年05期

3 孙大为;常桂然;李凤云;王川;王兴伟;;一种基于免疫克隆的偏好多维QoS云资源调度优化算法[J];电子学报;2011年08期

4 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

5 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

6 刘田甜;李超;胡庆成;张桂刚;;云环境下多副本管理综述[J];计算机研究与发展;2011年S3期

7 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

8 林闯;田源;姚敏;;绿色网络和绿色评价:节能机制、模型和评价[J];计算机学报;2011年04期

9 王珊;王会举;覃雄派;周p，

本文编号：758505