基于流计算Flink框架的资源调度方法研究
发布时间：2021-01-31 05:02
随着大数据技术的飞速发展,金融银行业、互联网和物联网等与人们生活联系紧密的行业领域发生了翻天地覆的变化。数据规模迅速扩大,数据计算具有规模性和实时性。在实时计算场景下,Flink流计算框架提供了丰富的算子支持和较好的容错机制,且在资源调度方面做了许多优化,能够对大流量的数据进行实时处理。然而,当面临实时数据流突增的时候,Flink不能根据当前的数据流量进行动态资源调整,从而会导致计算出现瓶颈,无法保证计算结果的实时性。本文针对Flink框架在数据量突增时会出现性能瓶颈的问题设计了一套基于Flink框架的资源调度管理系统,对作业的运行情况进行实时监控,及时发现性能瓶颈进行资源调整,保证数据计算的实时性。该系统主要包括Flink作业监控子系统以及算子资源调度优化子系统。Flink作业监控子系统主要用来实时跟踪作业上各算子的数据输入、输出、作业运行过程中网络缓存使用情况,以及记录算子拓扑关系,为判断算子计算瓶颈提供直接依据。算子资源调度优化子系统是根据收集的监控数据,以及对作业算子的有向无环的拓扑结构进行广度优先搜索,根据Flink作业的反压机制找出性能瓶颈的算子,并对出现性能瓶颈的算子进行...
【文章来源】：沈阳工业大学辽宁省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
Task在TaskManager的Slot中分布
第2章Flink框架相关技术9图2.2线程优化过程Fig.2.2Threadoptimizationprocess2.3反压机制Flink运行时候的构造部件是streams（数据流）和operators（算子）。operators对流streams进行处理，产生一个新的流。当一个operator接收到的streams的速率高于它在一个瞬时脉冲内处理的数据流，就会产生反压[33]。Flink系统自身处理反压的机制，类似于生产者与消费者的阻塞队列，一旦接收者接收的数据流量大于它所能处理的最大值，这个较慢的接收者就会拖慢发送者。反压的过程可以类比抽水的过程，抽水机反压类比图如图2.3所示。上游的水龙头类比Flink里的Source，封闭木桶类比于ResultPartition，封闭木桶的1号和2号类比于ResultSubPartition，管道1号和2号类比于channel，抽水机1号和2号类比于inputGates，下游的水龙头类比于下游算子。把水流类比于数据流，水流正酣，如果下游的两个水龙头都关闭，这两个抽水机最先被填满，由于抽水机只进水不出水，抽水机满了之后封闭木桶就不再出水了，直到封闭木桶也满了，上游的水龙头就不再放水了。所以类似的，下游算子消耗数据流比上游算子产生的慢时，inputGates的缓冲区就会慢慢被填满，然后
沈阳工业大学硕士学位论文10ResultSubPartition的缓冲区也满了，最后形成反压，于是上游算子产生数据的速度减慢，从而达到平衡状态。图2.3抽水机反压类比图Fig.2.3PumpbackpressureclassdiagramFlink将反压状态分为三个级别，分别为OK、LOW、HIGH级别，其中OK对应的反压比例为大于0小于10%，LOW对应的反压比例大于10%小于50%，HIGH对应的反压比例大于50%小于100%。这个反压比例也是算子输入输出端的buffer使用率，向缓冲池申请内存块的过程详见2.4节。图2.4是HeapOptimize作业运行时的拓扑图以及各个算子的反压状态，如图所示，通过Flink反压机制，前两个算子Source和FlatMap的反压状态级别都是HIGH,其余的算子反压级别状态都是OK。图2.4Flink作业的算子状态Fig.2.4OperatorstateofFlinkjob对Task进行采样检测，有一些Subtasks状态显示HIGH，表示系统触发了反压，需要适当增加Subtask并行度或者降低数据生产速度，否则经过长时间的运行后，系统中处理的数据将会出现超时现象,在有些情况下数据不能及时处理，会造成严重的后果。
【参考文献】：
期刊论文
[1]大数据对企业内部控制信息安全影响研究[J]. 杨毓,陈园. 中外企业家. 2020(06)
[2]基于大数据背景下的银行智能风控体系建设[J]. 梅崇秀. 中外企业家. 2020(06)
[3]Flink和Spark Streaming流式计算模型比较分析[J]. 宋灵城. 通信技术. 2020(01)
[4]大数据技术在智慧交通中的应用新模式[J]. 曹宇鹏,李刚. 青海交通科技. 2019(06)
[5]大数据应用现状与发展趋势的思考[J]. 乔爱锋. 电信快报. 2019(11)
[6]一种基于流数据处理的预警系统设计[J]. 王性国,郝文静,董建,谢康,杜佳颖. 电脑知识与技术. 2019(30)
[7]基于流网络的Flink平台弹性资源调度策略[J]. 李梓杨,于炯,卞琛,张译天,蒲勇霖,王跃飞,鲁亮. 通信学报. 2019(08)
[8]一种基于集成的不均衡数据流分类算法[J]. 袁泉,郭江帆,赵学华. 计算机工程与科学. 2019(08)
[9]Spark和Flink的计算模型对比研究[J]. 谭勇. 计算机产品与流通. 2019(04)
[10]基于新一代大数据处理引擎Flink的“智慧滁河”系统[J]. 叶枫,张鹏,夏润亮,顾和生,陈勇. 水资源保护. 2019(02)
硕士论文
[1]面向FLINK流处理框架的容错策略优化研究[D]. 庆骁.哈尔滨工业大学 2019
[2]基于数据流的风机故障实时监测系统开发研究[D]. 涂振宇.山东大学 2019
[3]大数据平台加速处理技术的研究与实现[D]. 徐刘根.电子科技大学 2019
[4]基于大数据的网络异常行为检测平台的设计与实现[D]. 李若鹏.华南理工大学 2018
[5]基于Flink的实时轨迹运动模式检测[D]. 麦冠华.浙江大学 2018
[6]大数据流式处理系统负载均衡与容错机制的研究[D]. 段泽源.华北电力大学 2017
[7]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
[8]流式计算模式的性能研究与优化[D]. 王蒙.北京邮电大学 2017
本文编号：3010253
【文章来源】：沈阳工业大学辽宁省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
Task在TaskManager的Slot中分布
第2章Flink框架相关技术9图2.2线程优化过程Fig.2.2Threadoptimizationprocess2.3反压机制Flink运行时候的构造部件是streams（数据流）和operators（算子）。operators对流streams进行处理，产生一个新的流。当一个operator接收到的streams的速率高于它在一个瞬时脉冲内处理的数据流，就会产生反压[33]。Flink系统自身处理反压的机制，类似于生产者与消费者的阻塞队列，一旦接收者接收的数据流量大于它所能处理的最大值，这个较慢的接收者就会拖慢发送者。反压的过程可以类比抽水的过程，抽水机反压类比图如图2.3所示。上游的水龙头类比Flink里的Source，封闭木桶类比于ResultPartition，封闭木桶的1号和2号类比于ResultSubPartition，管道1号和2号类比于channel，抽水机1号和2号类比于inputGates，下游的水龙头类比于下游算子。把水流类比于数据流，水流正酣，如果下游的两个水龙头都关闭，这两个抽水机最先被填满，由于抽水机只进水不出水，抽水机满了之后封闭木桶就不再出水了，直到封闭木桶也满了，上游的水龙头就不再放水了。所以类似的，下游算子消耗数据流比上游算子产生的慢时，inputGates的缓冲区就会慢慢被填满，然后
沈阳工业大学硕士学位论文10ResultSubPartition的缓冲区也满了，最后形成反压，于是上游算子产生数据的速度减慢，从而达到平衡状态。图2.3抽水机反压类比图Fig.2.3PumpbackpressureclassdiagramFlink将反压状态分为三个级别，分别为OK、LOW、HIGH级别，其中OK对应的反压比例为大于0小于10%，LOW对应的反压比例大于10%小于50%，HIGH对应的反压比例大于50%小于100%。这个反压比例也是算子输入输出端的buffer使用率，向缓冲池申请内存块的过程详见2.4节。图2.4是HeapOptimize作业运行时的拓扑图以及各个算子的反压状态，如图所示，通过Flink反压机制，前两个算子Source和FlatMap的反压状态级别都是HIGH,其余的算子反压级别状态都是OK。图2.4Flink作业的算子状态Fig.2.4OperatorstateofFlinkjob对Task进行采样检测，有一些Subtasks状态显示HIGH，表示系统触发了反压，需要适当增加Subtask并行度或者降低数据生产速度，否则经过长时间的运行后，系统中处理的数据将会出现超时现象,在有些情况下数据不能及时处理，会造成严重的后果。
【参考文献】：
期刊论文
[1]大数据对企业内部控制信息安全影响研究[J]. 杨毓,陈园. 中外企业家. 2020(06)
[2]基于大数据背景下的银行智能风控体系建设[J]. 梅崇秀. 中外企业家. 2020(06)
[3]Flink和Spark Streaming流式计算模型比较分析[J]. 宋灵城. 通信技术. 2020(01)
[4]大数据技术在智慧交通中的应用新模式[J]. 曹宇鹏,李刚. 青海交通科技. 2019(06)
[5]大数据应用现状与发展趋势的思考[J]. 乔爱锋. 电信快报. 2019(11)
[6]一种基于流数据处理的预警系统设计[J]. 王性国,郝文静,董建,谢康,杜佳颖. 电脑知识与技术. 2019(30)
[7]基于流网络的Flink平台弹性资源调度策略[J]. 李梓杨,于炯,卞琛,张译天,蒲勇霖,王跃飞,鲁亮. 通信学报. 2019(08)
[8]一种基于集成的不均衡数据流分类算法[J]. 袁泉,郭江帆,赵学华. 计算机工程与科学. 2019(08)
[9]Spark和Flink的计算模型对比研究[J]. 谭勇. 计算机产品与流通. 2019(04)
[10]基于新一代大数据处理引擎Flink的“智慧滁河”系统[J]. 叶枫,张鹏,夏润亮,顾和生,陈勇. 水资源保护. 2019(02)
硕士论文
[1]面向FLINK流处理框架的容错策略优化研究[D]. 庆骁.哈尔滨工业大学 2019
[2]基于数据流的风机故障实时监测系统开发研究[D]. 涂振宇.山东大学 2019
[3]大数据平台加速处理技术的研究与实现[D]. 徐刘根.电子科技大学 2019
[4]基于大数据的网络异常行为检测平台的设计与实现[D]. 李若鹏.华南理工大学 2018
[5]基于Flink的实时轨迹运动模式检测[D]. 麦冠华.浙江大学 2018
[6]大数据流式处理系统负载均衡与容错机制的研究[D]. 段泽源.华北电力大学 2017
[7]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
[8]流式计算模式的性能研究与优化[D]. 王蒙.北京邮电大学 2017
本文编号：3010253
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3010253.html
最近更新
教材专著
