跨数据中心大规模云数据部署和传输机制研究

发布时间：2020-12-25 20:20

　　伴随着云服务在全球范围内的不断发展,云数据规模也迅速从TB级增长至PB级。为了满足全球用户对云数据的动态访问需求并保证云数据的高可靠性,大规模云数据拥有多个副本并被分散存储于全球各地的数据中心。为了满足云数据的分发需求和数据副本间的一致性需求,云数据往往周期性地在全球各地的数据中心间进行迁移和备份操作。但由于云数据具有数据量大和分布范围广的特点,导致跨数据中心的大规模云数据传输和迁移操作占用了大量网络资源,迫使云服务提供商租用更多网络资源以满足传输需求,最终增加了其网络传输成本。针对上述问题,本文研究发现在跨数据中心的大规模云数据环境下,网络拓扑、链路带宽利用率以及带宽资源计费策略这些网络信息在云数据的部署和传输过程中扮演着极其重要的作用。而现有云服务提供商在对数据进行部署和传输调度时,仅从自身云服务提供的需求层面进行考虑,忽略了底层网络状态信息,导致其难以对数据部署和传输策略进行整体优化。基于上述分析,本文结合网络拓扑、链路带宽利用率以及带宽资源计费策略等信息,研究面向大规模云数据的跨数据中心部署和传输技术,并取得了如下成果：·提出了网络感知的大规模云数据的跨数据中心优化部署算法。从... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：111 页

【学位级别】：博士

【文章目录】：
摘要
ABSTRACT
主要缩略语及中英文对照
第一章 绪论
    1.1 研究背景与意义
    1.2 研究内容
        1.2.1 跨数据中心大规模云数据的优化部署算法
        1.2.2 跨数据中心大规模云数据的高效用传输算法
        1.2.3 跨数据中心大规模云数据的低成本传输算法
    1.3 相关研究现状
        1.3.1 大规模云数据的优化部署算法
        1.3.2 大规模云数据的高效用传输算法
        1.3.3 大规模云数据的低成本传输算法
    1.4 研究目标和方案
        1.4.1 研究目标
        1.4.2 研究方案
        1.4.3 理论依据
    1.5 论文贡献
    1.6 论文组织结构
    本章参考文献
第二章 跨数据中心大规模云数据优化部署算法
    2.1 引言
        2.1.1 研究背景和动机
        2.1.2 挑战及其解决方案
    2.2 相关工作介绍
    2.3 问题描述与建模
        2.3.1 相关概念描述
        2.3.2 跨数据中心云数据部署问题模型
    2.4 跨数据中心云数据优化部署算法
        2.4.1 限定规模的云数据划分算法
        2.4.2 云数据子集的部署放置算法
    2.5 仿真实验
        2.5.1 实验环境和设置
        2.5.2 跨数据中心数据传输时间分析
        2.5.3 算法运行时间分析
    2.6 本章小结
    本章参考文献
第三章 跨数据中心大规模云数据高效用传输算法
    3.1 引言
        3.1.1 研究背景和动机
        3.1.2 挑战及其解决方案
    3.2 相关工作介绍
    3.3 问题描述和建模
        3.3.1 相关概念描述
        3.3.2 字典序最优的链路拥塞优化目标
        3.3.3 问题形式化建模
    3.4 基于弹性时间延展网络技术的问题建模
        3.4.1 弹性时间延展网络技术概述
        3.4.2 弹性时间延展网络构建
        3.4.3 大数据多传输任务问题的重建模
    3.5 字典序最优的低拥塞调度算法
        3.5.1 调度算法介绍
        3.5.2 算法理论性能分析
    3.6 仿真实验
        3.6.1 实验设置
        3.6.2 时域维度全网峰值流量波动比较
        3.6.3 空间维度全网链路流量分布比较
        3.6.4 算法时间开销
        3.6.5 存储操作开销
    3.7 本章小结
    本章参考文献
第四章 跨数据中心大规模云数据低成本传输算法
    4.1 引言
        4.1.1 研究背景和动机
        4.1.2 挑战及其解决方案
    4.2 相关研究工作
    4.3 云数据部署路由联合优化问题描述
        4.3.1 数据中心间骨干网络模型
        4.3.2 邮递数据硬盘开销函数模型
        4.3.3 云数据模型
        4.3.4 云数据部署路由联合优化策略
        4.3.5 问题目标
    4.4 云数据部署路由联合优化问题建模
        4.4.1 增广网络图的构建
        4.4.2 混合整数规划模型
    4.5 基于线性松弛和舍入的求解算法
        4.5.1 基于确定舍入技术的数据部署路由联合调度算法
        4.5.2 基于随机舍入技术的数据部署路由联合调度算法
    4.6 仿真实验
        4.6.1 实验设置
        4.6.2 网络传输成本开销比较
        4.6.3 算法运行时间开销比较
    4.7 本章小结
    本章参考文献
第五章 结束语
    5.1 论文工作总结
    5.2 进一步工作
致谢
攻读学位期间发表的学术论文目录


【参考文献】：
期刊论文
[1]云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略[J]. 刘少伟,孔令梅,任开军,宋君强,邓科峰,冷洪泽.  计算机学报. 2011(11)
[2]云计算环境下面向数据密集型应用的数据布局策略与方法[J]. 郑湃,崔立真,王海洋,徐猛.  计算机学报. 2010(08)



本文编号：2938328