分布式流计算平台的设计与实现

发布时间：2021-06-17 16:51

　　随着科技的进步,电子商务、社交网络、新闻聚合、视频监控和卫星遥感技术的蓬勃发展。每天都会产生海量的实时数据,这些数据无论是形式还是规模都和传统数据不一样,传统数据一般都是结构化的静态数据,并且规模较小,处理实时性要求不高。实时数据多以流式数据为主,流式数据具有数据规模庞大,数据流向和流速不确定、实时性、非结构化等特点。因此,专门处理流式数据为代表的分布式计算平台应运而生。本论文提出来一种分布式流计算平台,提供低时延、高吞吐的实时流分析服务。在拓扑图中指定应用程序逻辑。本论文将围绕分布式流计算平台中的任务调度算法,容错机制,消息处理机制方面进行研究。主要工作包括以下几点:1)研究当下常见的流计算平台（Storm、Spark Streaming、Flink等）主要研究其调度算法、容错机制和消息机制。分析各个平台的优缺点。2)在任务调度方面,采用基于Qos约束的智能调度算法。在任务调度时,调度算法模块统计计算节点资源使用率,并将资源使用率作为调度的约束条件,不同的资源使用具有不同的权重因子,采用模拟退火算法训练权重因子,这样在不同的运行环境,调度算法智能的调度任务,提高系统吞吐量,增强数据处... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

主节点启动

电子科技大学硕士学位论文58图5-4备份节点启动在192.168.1.88上输入ctrl+c命令，主节点关闭，等待一段时间，看到备份节点所在物理机打印出如图5-5图5-5关闭主节点后备份节点打印信息看到备份节点打印出MasterNode::initMaster()判断出备份节点变为主节点。5.2.2计算节点测试计算节点测试策略是，启动分布式流计算平台后台来提交wordCount任务，通过后台界面来看计算节点的变化。操作步骤如下：1)首先启动Zookeeper集群，进入zookeeper/bin目录下执行./zkServer.shstart。如图5-6所示。图5-6启动zookeeper集群leader图2)启动控制节点和计算节点，在控制节点上执行命令./mastercon.xml,计算节点执行命令./supervisorsupervisor.conf3)通过客户端发送任务，执行命令./client192.168.1.88wordCount.xml，执行完命令，会返回一个任务id如图5-7所示：

第五章测试与分析59图5-7客户端提交任务后4)通过客户端启动任务9345，命令是./client192.168.1.88–start9345，手动启动任务，master节点返回如图5-8所示，下面用红色框框住的部分是任务拓扑图。图5-8打印任务拓扑图5.2.3消息可靠性功能测试消息功能测试策略：由于消息在计算单元中流动，在哪个计算单用中丢失具有随机性。不太好测试出错场景，因此本文统计所有tuple信息，统计发送的tuple信息，和在结果集中不同tuple的数量。为了简化流程，采用链式拓扑图，如图5-9，发送数据流为不重复的连续整数数据流，最后统计不同数据总量是不是符合预期。

【参考文献】：
期刊论文
[1]改进的基于加权最小连接数的负载均衡算法[J]. 高振斌,潘亚辰,华中,段小红,赵丹.  科学技术与工程. 2016(06)
[2]基于Raft一致性协议的高可用性实现[J]. 张晨东,郭进伟,刘柏众,储佳佳,周敏奇,钱卫宁.  华东师范大学学报(自然科学版). 2015(05)
[3]面向大数据分析的分布式文件系统关键技术[J]. 周江,王伟平,孟丹,马灿,古晓艳,蒋杰.  计算机研究与发展. 2014(02)
[4]基于Redis的海量小文件分布式存储方法研究[J]. 刘高军,王帝澳.  计算机工程与科学. 2013(10)
[5]面向Web Service的动态负载均衡设计与实现[J]. 周顺.  计算机工程与科学. 2010(12)
[6]模拟退火算法[J]. 魏延,谢开贵.  蒙自师范高等专科学校学报. 1999(04)
[7]基于ACTOR模型的并发面向对象语言AC++[J]. 董哲,刘琳,田籁声.  软件学报. 1997(03)

硕士论文
[1]GlusterFS的数据分布策略与性能优化研究[D]. 何华.国防科学技术大学 2013
[2]双机容错热备份系统研究与实现[D]. 田灼.哈尔滨理工大学 2003



本文编号：3235567