面向流式数据处理平台JStorm的负载均衡技术研究

发布时间：2017-10-06 07:10

  本文关键词：面向流式数据处理平台JStorm的负载均衡技术研究

  更多相关文章： 流式计算 JStorm 负载均衡 资源分配

【摘要】：大数据时代,数据的流式特征愈加显著,很多应用场景部署在流式数据处理平台上,然而,随着应用场景的复杂化及数据量的快速增长,分布式计算平台中节点间的负载失衡已经成为制约流式应用性能提升的瓶颈,因此对流式数据处理平台上负载均衡问题的研究已经凸显重要的研究价值。本文以流式数据处理平台JStorm作为研究对象,致力于解决作业资源分配不当导致的JStorm平台负载不均衡问题。论文对JStorm平台下的作业资源分配策略进行了深入分析,指出了在节点间可用资源异构场景下,该作业资源分配策略将导致的集群负载不均衡问题,并针对这个问题提出了改进的作业资源分配策略,通过考虑节点工作负载的非对称性,合理分配计算任务,提升了流式应用的运行性能。本文完成的主要工作有:1)详细介绍了流式数据处理、JStorm流式数据处理平台、分布式平台资源分配等技术。重点分析JStorm中计算任务从提交到分解为具体作业任务的整个过程,研究了JStorm为作业进行资源分配的过程,指出了在资源分配过程中因为缺乏对计算资源的整体评估,而导致集群负载不均衡的问题。2)提出了JStorm工作节点负载评估模型。通过对现有节点负载评估模型的研究,结合JStorm作业处理数据的特性,从JStorm工作节点的计算资源利用率及节点本身的数据处理能力出发,设计了JStorm工作节点负载的多权值评估模型,并对模型中的多个概念进行了详细说明。3)改进了JStorm作业资源分配策略。针对JStorm作业资源分配策略中忽视工作节点负载非对称的缺点,结合提出的工作节点负载评估模型,在作业资源分配过程时考虑工作节点的负载情况,对计算资源进行合理分配,保证集群的负载均衡,使得流式应用能够充分利用每个节点的计算资源。4)设计并实现了作业资源分配改进策略。将源码实现嵌入到JStorm的调度器中,搭建JStorm集群,通过实验验证了改进策略的可行性。实验结果表明,本文提出的改进作业资源分配策略解决了JStorm因为作业计算资源分配不当导致的集群负载不均衡问题,同时提高了JStorm处理数据的性能,将数据的吞吐量提高了10%。
【关键词】：流式计算 JStorm 负载均衡 资源分配
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP274
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章 绪论9-15
• 1.1 论文选题背景9-10
• 1.2 国内外研究现状10-12
• 1.3 主要研究内容12
• 1.4 论文结构安排12-15
• 第2章 相关技术分析15-25
• 2.1 流式数据处理技术15-16
• 2.1.1 流式数据处理技术的概述15
• 2.1.2 流式数据处理的相关技术15-16
• 2.2 JStorm平台介绍16-21
• 2.2.1 JStorm简介16-17
• 2.2.2 JStorm的核心技术和基本组成17-19
• 2.2.3 JStorm的工作原理19-21
• 2.3 常见的资源调度算法分析21-22
• 2.3.1 最大最小公平算法21
• 2.3.2 DRF算法21-22
• 2.4 Hadoop常见的资源调度算法分析22-23
• 2.5 本章小结23-25
• 第3章 JStorm Worker资源分配策略分析25-33
• 3.1 JStorm Worker资源分配策略25-29
• 3.1.1 Topology的提交以及实例化过程25-27
• 3.1.2 Worker的资源分配过程27-29
• 3.2 改进Worker资源分配策略问题分析29-31
• 3.3 本章小结31-33
• 第4章 JStorm Worker资源分配改进策略的设计及实现33-45
• 4.1 JStorm Worker资源分配改进策略的设计33-38
• 4.1.1 相关概念定义33-34
• 4.1.2 Supervisor节点负载评估模型34-36
• 4.1.3 改进的Worker资源分配策略36-38
• 4.2 JStorm Worker资源分配改进策略的实现38-42
• 4.2.1 收集Supervisor节点相关参数的实现38-40
• 4.2.2 Worker资源分配改进策略的实现40-42
• 4.3 对Worker资源分配改进策略的修正42-43
• 4.4 本章小结43-45
• 第5章 实验及结果分析45-53
• 5.1 实验集群环境的搭建45-46
• 5.2 实验结果与分析46-51
• 5.3 本章小结51-53
• 结论53-55
• 参考文献55-59
• 攻读硕士学位期间所取得的成果59-61
• 致谢61

【相似文献】

中国期刊全文数据库 前10条

1 黄卫军;口岸城市通关数据处理平台[J];上海信息化;2005年01期

2 林华兵;;数据处理平台高可靠性的设计与实现[J];中国金融电脑;2010年11期

3 胡继军;;浅谈统计部门在数据处理平台设计中应考虑的问题[J];现代经济信息;2012年14期

4 王业斌;;省级防雷业务数据处理平台的开发[J];科技信息;2009年30期

5 龚一飞;刘万才;;农作物有害生物调查项目数据处理平台的构建与实现[J];中国植保导刊;2012年03期

6 邢煜;;一种海量数据处理平台的解决方案[J];电脑知识与技术;2013年21期

7 蔡玉宝;左春;张正;邹志强;;数据处理平台的研究与实现[J];计算机工程与设计;2008年07期

8 张涛;李建;康永佳;;多任务高并发数据处理平台的技术研究[J];网络安全技术与应用;2010年03期

9 宋均;祝林;;基于云计算的海量数据处理平台设计与实现[J];电讯技术;2012年04期

10 杨凯;曹小军;卢莺;;控制系统数据处理平台开发与应用[J];弹箭与制导学报;2009年04期

中国重要会议论文全文数据库 前6条

1 王业斌;徐建鹏;王凯;;安徽省常规防雷业务服务数据处理平台的开发[A];信息技术在气象领域的开发应用论文集（一）[C];2005年

2 季晓林;刘海砚;;基于数据处理平台的空间矢量数据融合[A];中国地理信息系统协会第八届年会论文集[C];2004年

3 赵旭霞;刘立峰;邵起明;;智能路测系统中的数据处理平台[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年

4 张鹏;;基于XML/Java的数据处理平台[A];Java技术及应用的进展——第八届中国Java技术及应用交流大会文集[C];2005年

5 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

6 陶金花;苏林;李树楷;;一种基于网格的LiDAR数据处理平台架构[A];2007年先进激光技术发展与应用研讨会论文集[C];2007年

中国重要报纸全文数据库 前5条

1 本报记者 刘书臻;山东：数据处理平台建成[N];中国信息报;2011年

2 杨小国;“四大工程”助推普查资料开发提速[N];中国信息报;2012年

3 董平;创新,永不止步[N];中国国门时报;2011年

4 《网络世界》记者 李夏艳;直面无线挑战[N];网络世界;2012年

5 ;“康师傅”喜新厌旧[N];网络世界;2002年

中国博士学位论文全文数据库 前1条

1 林文辉;基于Hadoop的海量网络数据处理平台的关键技术研究[D];北京邮电大学;2014年

中国硕士学位论文全文数据库 前10条

1 张利平;基于MPC8536的雷达嵌入式数据处理平台设计[D];电子科技大学;2015年

2 潘思聪;基于云环境的电信数据处理平台设计与实现[D];上海交通大学;2014年

3 严华;统计局数据处理平台的设计和实现[D];电子科技大学;2014年

4 张波;基于大数据技术的公安移动通信数据处理平台设计与实现[D];山东大学;2016年

5 周碧漳;面向量化交易的金融数据处理平台研究与原型实现[D];电子科技大学;2016年

6 张杰;面向车载信息的大规模数据处理平台技术研究[D];电子科技大学;2016年

7 王华慈;MapReduce型海量数据处理平台中数据放置技术研究[D];北京工业大学;2016年

8 樊明璐;流式大数据处理平台中资源动态调度技术研究[D];北京工业大学;2016年

9 杨鹏;面向流式数据处理平台JStorm的负载均衡技术研究[D];北京工业大学;2016年

10 但玻;城市热岛效应卫星遥感数据处理平台研发[D];电子科技大学;2011年

，

本文编号：981398