分布式流计算平台调度与元数据管理的设计与实现

发布时间：2021-03-09 06:38

　　随着互联网时代的到来,数据的形式和规模都发生了天翻地覆的变化。传统的数据具有静态与格式化的特性,且数据规模较小,可以采用单机的计算节点执行数据处理的任务。在处于信息化时代的今天,数据变化为规模庞大的非结构化实时异构数据,并且常以流式数据的形式存在。流式数据具有时间属性,传统的数据处理技术会丢失流式数据计算结果的准确性与价值,这导致新兴的数据计算任务不得不摒弃传统数据处理技术。以流式数据为代表的海量实时异构数据的处理技术难题亟待解决。本文基于为用户提供高吞吐低延时计算服务的分布式流计算平台,围绕分布式流计算平台中的控制节点,关注系统调度算法方面和元数据管理方面的研究。主要工作如下:1)设计并实现了分布式流计算平台采用的初调度、重调度、恢复调度三阶段的调度算法:在任务开始运行时采用初调度算法分析任务的资源需求并采取负载均衡的分配方案;在系统和任务运行期间采用重调度算法动态调整任务的性能瓶颈问题和系统的资源倾斜问题;在系统或任务出现异常时采用恢复调度算法降低任务的损失,并尽快恢复任务的高性能运行状态。力求更好地提高资源的利用率、实现系统的负载均衡,最终使得系统整体的吞吐率达到最大;2)自定义... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：89 页

【学位级别】：硕士

【部分图文】：

SparkStreaming调度算法

主、从控制节点，登录管理界面，“系统状态”页面如图6-3 所示，所有计算节点均处于离线状态，系统的统计信息为空。图 6-3 计算节点管理页面启动五个计算节点，“系统状态”页面如图 6-4 所示，用户可以通过“系统状态”页面查看系统中所有计算节点的信息，包括 IP 地址、节点的状态、内存余量、网络流量、磁盘余量、CPU 负载等信息。还可点击按钮查看计算节点上运行的进程详情，启动或关闭计算节点。图 6-4 计算节点管理页面（续）

图 6-3 计算节点管理页面启动五个计算节点，“系统状态”页面如图 6-4 所示，用户可以通过“系统状态”页面查看系统中所有计算节点的信息，包括 IP 地址、节点的状态、内存余量、网络流量、磁盘余量、CPU 负载等信息。还可点击按钮查看计算节点上运行的进程详情，启动或关闭计算节点。


本文编号：3072429