面向大规模流数据处理的弹性资源调度研究
发布时间：2021-11-09 09:42
大规模流处理系统作为大规模流数据处理的重要工具,推动了大数据流式计算技术的发展和应用,为应对大数据时代的挑战提供了重要帮助。基于云的弹性资源调度作为大规模流处理系统的重要组成部分,影响着系统的性能和制约着系统的应用。因此,研究弹性资源调度对于从本质上理解流处理系统,提高系统的资源利用率、降低系统的能量消耗具有至关重要的意义。本文主要研究面向大规模流处理的弹性资源调度,即根据应用输入负载的变化,动态地进行资源的扩展调整或收缩调整。资源调度的关键是确定资源调整的时机和数量,从而实时地提供与负载变化相匹配的资源。资源调度涉及资源分配和资源放置两个方面。其中,资源分配是指确定虚拟机资源调整的时机和增加或减少的数量,资源放置则是实现分配或释放的虚拟机资源到物理机的映射。具体地,我们将协作式负载预测模型、反馈式协作机制等与弹性资源调度相结合,针对不同的应用性能目标,单独地考虑资源分配或从系统化的角度统一地考虑资源分配和资源放置,进行以下三个方面的研究:·面向大规模流数据突发性的弹性资源调度。基于应用上、下游操作的输入负载之间的关联性,构建数据负载预测模型,设计操作间的协作机制,设计有效的弹性资源分...
【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校
【文章页数】：141 页
【学位级别】：博士
【部分图文】：
图１．４论文组织结构图??
３．３．１阶跃现象??在ＤＡＧ中，操作的资源扩展调整将导致其邻居下游操作的输入负载突然增??力口，一旦负载超过了处理能力，下游操作也需要进行扩展调整，成为新的调整操??作。此时，下游操作称为操作的扩展关联操作。由于调整延迟是不可避免的，在??处理能力与输入负载尚未匹配之前，如果下游操作发生缓存溢出，则出现数据丢??失，此种现象称之为操作的阶跃上升现象（简称阶跃现象），如图３．?２?（ａ）所示，??其中，左侧的细线纵坐标轴／⑴和右侧的粗线纵坐标轴Ｐ（／）分别表示操作在／时刻??的输入速率和处理速率。??与扩展调整相反，操作的资源收缩调整将导致其下游操作的输入速率急剧减??少。当下游操作的输入缓存占用较少且资源使用率较低时，也需要进行收缩调整。??此时，下游操作称为操作的收缩关联操作。在下游操作调整期间，其处理能力大??于突发减少的输入负载，存在资源使用浪费的现象，称之为操作的阶跃下降现象??
述阶跃现象和抖动现象，本章解决的弹性资源分配问题的失量和最大化资源使用率，并在满足上述两个目标的前提目标函数中的定义如下：??ｉｎ（ｄ（７（ｏ，）?｜（／？Ｓ（ｏ，），Ｚ）Ｉ（〇ｉ）））Ａｍａｘ（／？ｌＳ（ｏ，．）?｜?￡）￡（〇，））八?ｍｉｎ（ＤＬ（ｏ，．）中中，表示在调整期间的数据丢失量。／？災〇，）是资资源与分配资源的比率，最优的情况是二１。ＪＣ（〇ｉ．；）本章假设扩展或收缩资源调整的代价基本相同，因此，总衡量，调整次数越多，则调整代价越高。后续工作将建立同因素影响下的调整代价。??现上述目标，首先需要构建操作的数据负载预测模型，并弹性资源分配，减少或避免数据丢失；同时，为了提高资
【参考文献】：
期刊论文
[1]大数据流式计算框架Storm的任务迁移策略[J]. 鲁亮,于炯,卞琛,刘月超,廖彬,李慧娟. 计算机研究与发展. 2018(01)
[2]应对倾斜数据流在线连接方法[J]. 王春凯,孟小峰. 软件学报. 2018(03)
[3]支持大规模流数据在线处理的自适应检查点机制[J]. 魏晓辉,刘智亮,庄园,李洪亮,李翔. 吉林大学学报(工学版). 2017(01)
[4]一种云环境中数据流的高效多目标调度方法[J]. 沈尧,秦小麟,鲍芝峰. 软件学报. 2017(03)
[5]分布式数据流上的高性能分发策略[J]. 房俊华,王晓桐,张蓉,周傲英. 软件学报. 2017(03)
[6]分布式流处理系统中基于位置感知的操作共享优化算法[J]. 魏晓辉,刘晓斐,李洪亮,李兰馨,李丽娜,崔浩龙,李想. 吉林大学学报(理学版). 2016(05)
[7]支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议[J]. 魏晓辉,李翔,李洪亮,李聪,庄园,于洪梅. 吉林大学学报(工学版). 2016(04)
[8]基于云计算的流数据集成与服务[J]. 王桂玲,韩燕波,张仲妹,朱美玲. 计算机学报. 2017(01)
[9]流水行云:支持可扩展的并行分布式流处理系统[J]. 张鹏,刘庆云,谭建龙,李焱,杜华明. 电子学报. 2015(04)
[10]支持大规模流数据处理的在线MapReduce数据传输机制[J]. 魏晓辉,李聪,李洪亮,李翔,刘圆圆,李丽娜,庄园. 吉林大学学报(理学版). 2015(02)
本文编号：3485090
【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校
【文章页数】：141 页
【学位级别】：博士
【部分图文】：
图１．４论文组织结构图??
３．３．１阶跃现象??在ＤＡＧ中，操作的资源扩展调整将导致其邻居下游操作的输入负载突然增??力口，一旦负载超过了处理能力，下游操作也需要进行扩展调整，成为新的调整操??作。此时，下游操作称为操作的扩展关联操作。由于调整延迟是不可避免的，在??处理能力与输入负载尚未匹配之前，如果下游操作发生缓存溢出，则出现数据丢??失，此种现象称之为操作的阶跃上升现象（简称阶跃现象），如图３．?２?（ａ）所示，??其中，左侧的细线纵坐标轴／⑴和右侧的粗线纵坐标轴Ｐ（／）分别表示操作在／时刻??的输入速率和处理速率。??与扩展调整相反，操作的资源收缩调整将导致其下游操作的输入速率急剧减??少。当下游操作的输入缓存占用较少且资源使用率较低时，也需要进行收缩调整。??此时，下游操作称为操作的收缩关联操作。在下游操作调整期间，其处理能力大??于突发减少的输入负载，存在资源使用浪费的现象，称之为操作的阶跃下降现象??
述阶跃现象和抖动现象，本章解决的弹性资源分配问题的失量和最大化资源使用率，并在满足上述两个目标的前提目标函数中的定义如下：??ｉｎ（ｄ（７（ｏ，）?｜（／？Ｓ（ｏ，），Ｚ）Ｉ（〇ｉ）））Ａｍａｘ（／？ｌＳ（ｏ，．）?｜?￡）￡（〇，））八?ｍｉｎ（ＤＬ（ｏ，．）中中，表示在调整期间的数据丢失量。／？災〇，）是资资源与分配资源的比率，最优的情况是二１。ＪＣ（〇ｉ．；）本章假设扩展或收缩资源调整的代价基本相同，因此，总衡量，调整次数越多，则调整代价越高。后续工作将建立同因素影响下的调整代价。??现上述目标，首先需要构建操作的数据负载预测模型，并弹性资源分配，减少或避免数据丢失；同时，为了提高资
【参考文献】：
期刊论文
[1]大数据流式计算框架Storm的任务迁移策略[J]. 鲁亮,于炯,卞琛,刘月超,廖彬,李慧娟. 计算机研究与发展. 2018(01)
[2]应对倾斜数据流在线连接方法[J]. 王春凯,孟小峰. 软件学报. 2018(03)
[3]支持大规模流数据在线处理的自适应检查点机制[J]. 魏晓辉,刘智亮,庄园,李洪亮,李翔. 吉林大学学报(工学版). 2017(01)
[4]一种云环境中数据流的高效多目标调度方法[J]. 沈尧,秦小麟,鲍芝峰. 软件学报. 2017(03)
[5]分布式数据流上的高性能分发策略[J]. 房俊华,王晓桐,张蓉,周傲英. 软件学报. 2017(03)
[6]分布式流处理系统中基于位置感知的操作共享优化算法[J]. 魏晓辉,刘晓斐,李洪亮,李兰馨,李丽娜,崔浩龙,李想. 吉林大学学报(理学版). 2016(05)
[7]支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议[J]. 魏晓辉,李翔,李洪亮,李聪,庄园,于洪梅. 吉林大学学报(工学版). 2016(04)
[8]基于云计算的流数据集成与服务[J]. 王桂玲,韩燕波,张仲妹,朱美玲. 计算机学报. 2017(01)
[9]流水行云:支持可扩展的并行分布式流处理系统[J]. 张鹏,刘庆云,谭建龙,李焱,杜华明. 电子学报. 2015(04)
[10]支持大规模流数据处理的在线MapReduce数据传输机制[J]. 魏晓辉,李聪,李洪亮,李翔,刘圆圆,李丽娜,庄园. 吉林大学学报(理学版). 2015(02)
本文编号：3485090
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3485090.html
