多数据中心容灾备份与疏散的大量数据传输优化研究

发布时间：2020-11-05 08:08

　　 地理位置分散的多数据中心是国家互联网大数据平台的基础设施,但是其缺乏有效的容灾部署和传输机制,面临高价值数据丢失风险较高、网络传输能力利用不充分、关键路径和节点负载过重、大量数据流量重复、重要数据疏散滞后等问题。本文利用软件定义网络技术结合网络智能优化方法,提出了多数据中心容灾备份与疏散的多个大量数据传输方法,主要包括:提出了备份数据中心选址和疏散预测一体化方法;改进了时间扩展网络方法,并提出了一个渐进式的备份负载分布与传输方法;针对多个并行数据流传输,设计了个性化流量分割管理和智能化多路径路由选择机制;研究了接收容量受限情况下,批量备份数据传输流量聚合机制;为关键路径和节点建立了负载平衡和拥塞控制机制。设计了多个智能优化算法,解决了容灾领域中最小化预期灾难损失和疏散时延的备份数据中心选址、公平的备份负载分配与快速传输、渐进式的转发角色切换与链路负载均衡、容量限制下的最小化组播备份费用、数据量感知的带宽比例调度与快速疏散等重要科学问题。本文的主要研究成果如下:(1)备份数据中心提供大量的数据存储和访问服务,一旦失效将导致巨大的经济损失,其选址应当同时考虑低损失风险和高疏散能力。本文从软件定义网络的网络资源全局角度出发,提出了一种新的灾难和疏散感知的备份数据中心放置策略。为了降低备份数据损失风险和实施灾后快速疏散,本文同时考虑预期灾难损失和灾后疏散延迟,得到了一个基于多目标的灾难和疏散感知的设施选址问题。结合灾情评估,本文设计了一个多目标优化算法,引入了位置输出能力、备份疏散延迟、帕累托推荐度和节点预期损失,同时对多个目标进行优化。并根据适应度偏差比对外部集进行修剪,提高了算法的收敛速度和计算效率。仿真实验证明,新的备份数据中心选址策略同时获得了较小的预期灾难损失和较高的疏散能力。(2)为了防止由于自然灾害或人为不当行为造成的数据丢失和服务中断,地理分散的多个数据中心之间需要定期实施容灾备份,应当充分考虑数据的备份冗余保证、备份数据中心接收能力的限制以及快速完成传输等问题。本文利用软件定义网络灵活的流量分割能力,提出了一种新的备份冗余保证和接收能力限制的公平、快速的容灾备份传输策略。通过构建流量比率约束的备份传输模型,计算接收容量受限的备份数据中心之间的流量分配比率,实现备份数据中心的公平负载分配。为了确保备份冗余,提高大量备份传输对之间的带宽分配公平性,更好地利用网络传输能力,提出了一种公平轮转和比例感知的智能优化算法。使用基于备份需求克隆的多个并发流的轮转路由搜索来逼近带宽分配的上限,调整不同需求的多个备份传输对的带宽分配比例,并根据链路的最大利用率进一步提高带宽分配。仿真实验证明,该策略获得了更短的备份传输完成时间、更加公平的备份负载分布以及更高的网络利用率。(3)地理位置分散的多个数据中心之间的定期容灾备份活动消耗巨大的网络资源,因此给数据中心和传输链路带来了沉重的负担,对日常网络服务产生重大影响。本文利用软件定义网络在不同时隙下收集和分析网络信息并分发流调度规则,提出了一种新的渐进式转发容灾备份策略,以减轻源数据中心的转发负担,平衡备份数据中心和传输链路上的备份负载。构建了一个新的冗余感知的时间扩展网络模型,根据冗余需求划分时隙,通过角色切换方法提高对备份数据中心转发能力的利用。在每个时隙,利用两阶段的优化算法来实现容量限制的备份数据中心选择和公平的备份负载分配。仿真实验证明,在保证传输完成和确保备份冗余的前提下,该策略在负载平衡方面获得了比已有研究更好的性能。(4)为了满足备份冗余需求,大批量数据在不相交的单播路径上重复传输,导致大量不必要的流量复制,不仅增加了开销,而且可能导致严重的网络拥塞。本文利用软件定义网络中的网络资源管理和组播流量聚合,提出了容量限制的组播备份方案,实现了经济、高效的容灾备份传输。首先,考虑到有限的备份存储容量和必要的备份冗余保证,构造了容量限制的组播备份模型,定义了容量限制的多斯坦纳树问题。为了解决这个问题,设计了一个基于需求感知增长的组播备份智能优化算法。直接从根节点对每一棵备份组播树进行优化,直到覆盖足够的目的地节点以保证足够的冗余,然后在组播树共享度、可用存储容量比例和备份负载分布偏移量的引导下构建森林。仿真实验证明,该策略获得了更低的带宽消耗和相对较好的备份负载分配公平性。(5)灾后疏散在可接受的时间内将大量处于危险中的数据分配给地理分散的多个数据中心。针对多个并发疏散传输(特别是在共享链路上)的带宽分配比例问题和多路径路由问题,为了在灾后疏散中充分利用网络传输能力,本文在软件定义网络的场景下提出了一种新的带宽比例优化分配策略。为了尽可能地提高灾后疏散能力,将带宽分配问题定义为一个新的带宽比例约束的多商品流问题,提出了一个带宽比例感知的智能优化算法,实现匹配疏散数据量比例的传输流量最大化。利用可用疏散能力、带宽比例偏移量和链路共享度来引导求解,通过重新分配共享链路和备用路径中的流量来调整带宽比例。仿真实验证明,与已有的研究相比,该策略的疏散传输时间更短,网络利用率更高。
【学位单位】：山东大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP309.3
【部分图文】：

方向丨１，２】。根据互联网数据中心（ＩＤＣ）的统计，２０１７年到８４０万座，其中大规模数据中心主要分布在美国、中国、如图１－２所示）。诸多国际大型企业机构，如ＡｍａＺ〇ｎ［３ｌ、［５】等，越来越多地建设并应用位于不同地理位置的多个限度地减少了访问延迟，为全球用户提供丰富优质的云服

方向丨１，２】。根据互联网数据中心（ＩＤＣ）的统计，２０１７年到８４０万座，其中大规模数据中心主要分布在美国、中国、如图１－２所示）。诸多国际大型企业机构，如ＡｍａＺ〇ｎ［３ｌ、［５】等，越来越多地建设并应用位于不同地理位置的多个限度地减少了访问延迟，为全球用户提供丰富优质的云服

在灾难－疏散感知的备份数据中心选址过程中，需要分析给定网络中候选位??置在发生灾难时可能失效的概率及代价，并将其定义为预期灾难损失。首先应??当结合灾难风险分布图和网络拓扑确定可能的危险区域ｆ１１，％。如图３－１所示，根??据已有研究Ｗ中的公共信息以及重大设施的位置信息，考虑可能发生的攻击，??生成了美国骨干网中数据中心节点面临的风险分布图，作为灾难感知的备份数??据中心选址的依据。另一方面，针对灾后疏散，还应考虑濒危的备份数据中心??与其作用范围内多个应用数据中心之间的疏散延迟。从流量工程的角度分析，??虽然网络流量是动态变化的，但是较低的疏散延迟有利于缩短备份数据中心的??大量数据在地理位置分散的多数据中心之间疏散传输的时间。在确定备份数据??ＩＦ??

本文编号：2871360