流式大数据处理平台中资源动态调度技术研究

发布时间：2017-08-22 11:00

  本文关键词：流式大数据处理平台中资源动态调度技术研究

  更多相关文章： 大数据 流式大数据处理平台 动态资源调度 预测

【摘要】：流式计算是大数据处理领域中一类重要的计算形态。流式大数据处理平台以实时产生的数据作为输入,数据源源不断地流入到相应的处理组件中进行处理,之后处理结果被实时反馈给用户。目前的资源调度方式仍然是以预先静态的方式为各个应用程序中的计算容器分配资源,使得负载波动时计算容器对资源的需求和分配不相匹配。针对该问题,本文以计算容器的资源需求不同且波动变化为前提,提出以计算容器为粒度的资源实时动态优化调度技术,首先分析随负载变化的资源需求规律,并对下一时间窗口的资源需求进行预测,然后根据预测结果,实时调度每个应用的计算容器在运行过程中的资源(CPU和内存)分配量;同时在流式大数据处理平台中多应用共存的环境下,资源需求高的计算容器能够得到更多的资源来处理数据,而资源需求量低的计算容器能够释放更多的资源供其他应用程序使用,以最小调度开销为前提来提高所有应用的资源利用率。本文的主要贡献包括:1)面向流式大数据处理平台的动态资源调度架构模型。该模型至下而上分为监控/执行层、预测代理层和调度决策层。将动态调度的功能和执行机制解耦,实现预测、调度决策以及监控这三个功能并行执行、相互协同,共同实现资源动态调度。2)面向流式大数据处理平台的在线资源预测方法。实时监控流式大数据处理平台中各个应用程序的计算容器对CPU和内存资源的使用情况,分析流式大数据处理平台中的负载特征,以时间窗口的形式,提出基于资源使用变化率的资源预测模型对CPU和内存资源进行在线组合预测,作为组合调度各个计算容器物理资源的依据。3)面向流式大数据处理平台的资源组合调度方法。该方法基于对未来时间窗口的资源预测结果,确定对计算容器进行释放或者追加物理资源量,根据资源调度结果,确定计算容器是否迁移。本文对计算容器的CPU和内存资源使用情况进行量化,以计算容器资源需求都得到满足、调度过程产生的开销最少、发生迁移的计算容器个数最少这三个目标,将各个计算容器组合来选择合适的计算容器迁移到合适的节点中。4)综合以上的研究成果,基于开源流式大数据处理平台JStorm,设计并实现了资源动态调度系统D-JStorm。D-JStorm整合上述架构、预测和资源组合调度功能,实现对系统中的计算容器进行资源调度和计算容器迁移。该系统无需用户修改顶层应用代码,具有良好的兼容性。5)对D-JStorm进行性能分析。分析结果表明,与JStorm平台相比,平均响应时间最高缩短58.26%,平均缩短了23.18%;CPU资源利用率最高提升17.96%,平均提升11.39%;内存利用率最高提升88.7%,平均提升71.16%。
【关键词】：大数据 流式大数据处理平台 动态资源调度 预测
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要4-6
• Abstract6-11
• 第1章 绪论11-17
• 1.1 流式大数据处理特征和流式大数据处理平台11-13
• 1.1.1 流式大数据处理特征11-12
• 1.1.2 大数据环境下的流式大数据处理平台12-13
• 1.2 流式大数据处理平台中既有资源调度现状及不足13-14
• 1.3 流式大数据处理平台资源动态调度技术面临的挑战14-15
• 1.4 本文的主要贡献15-16
• 1.5 本文的组织结构16-17
• 第2章 相关工作17-25
• 2.1 典型分布式流式大数据处理平台Storm概述17-19
• 2.1.1 Storm平台应用编程模型及平台架构17-18
• 2.1.2 Storm平台任务分配及资源调度方式18-19
• 2.2 资源调度策略相关技术19-24
• 2.2.1 现有流式大数据处理平台资源调度策略19-20
• 2.2.2 支持流式大数据处理应用的集群资源管理器20-21
• 2.2.3 资源动态调度策略优化研究21-24
• 2.3 本章小结24-25
• 第3章 流式大数据处理平台资源动态调度架构模型与工作流程25-31
• 3.1 总体架构模型25-26
• 3.2 预测代理架构模型26-27
• 3.3 资源组合调度架构模型27-29
• 3.4 面向流式大数据处理平台资源动态调度策略工作流程29-30
• 3.5 本章小结30-31
• 第4章 面向流式大数据处理平台动态资源预测方法31-39
• 4.1 问题描述31-32
• 4.2 参数定义32-34
• 4.3 基于资源使用变化率的资源预测模型34-35
• 4.4 算法流程35-37
• 4.5 本章小结37-39
• 第5章 面向流式大数据处理平台资源组合调度方法39-47
• 5.1 问题分析39-40
• 5.2 参数定义40-41
• 5.3 调度决策模型41-43
• 5.3.1 调度操作时机41-42
• 5.3.2 资源增减量计算42
• 5.3.3 可执行迁移决策42-43
• 5.4 调度开销评估模型43-44
• 5.5 资源组合调度策略44-46
• 5.5.1 目标的确定44-45
• 5.5.2 资源组合调度策略45-46
• 5.6 本章小结46-47
• 第6章 面向流式大数据处理平台资源动态调度系统实现47-55
• 6.1 JStorm平台资源调度介绍47-48
• 6.2 D-JStorm系统框架48-49
• 6.3 扩增的数据结构定义49-52
• 6.4 资源预测功能实现52
• 6.5 组合调度功能实现52-53
• 6.6 本章小结53-55
• 第7章 性能测试与分析55-79
• 7.1 测试负载55-57
• 7.1.1 测试负载分析55-56
• 7.1.2 测试负载生成56-57
• 7.2 性能评价指标57-59
• 7.2.1 预测性能评价指标57-58
• 7.2.2 系统总体性能评价指标58-59
• 7.2.3 微观指标59
• 7.3 测试结果与分析59-77
• 7.3.1 测试环境59
• 7.3.2 资源动态调整性能分析59-66
• 7.3.3 资源预测分析66-67
• 7.3.4 组合调度性能分析67-77
• 7.4 本章小结77-79
• 结论79-81
• 参考文献81-85
• 攻读硕士学位期间所发表的学术论文85-87
• 致谢87

【相似文献】

中国期刊全文数据库 前10条

1 黄卫军;口岸城市通关数据处理平台[J];上海信息化;2005年01期

2 林华兵;;数据处理平台高可靠性的设计与实现[J];中国金融电脑;2010年11期

3 胡继军;;浅谈统计部门在数据处理平台设计中应考虑的问题[J];现代经济信息;2012年14期

4 王业斌;;省级防雷业务数据处理平台的开发[J];科技信息;2009年30期

5 龚一飞;刘万才;;农作物有害生物调查项目数据处理平台的构建与实现[J];中国植保导刊;2012年03期

6 邢煜;;一种海量数据处理平台的解决方案[J];电脑知识与技术;2013年21期

7 蔡玉宝;左春;张正;邹志强;;数据处理平台的研究与实现[J];计算机工程与设计;2008年07期

8 张涛;李建;康永佳;;多任务高并发数据处理平台的技术研究[J];网络安全技术与应用;2010年03期

9 宋均;祝林;;基于云计算的海量数据处理平台设计与实现[J];电讯技术;2012年04期

10 杨凯;曹小军;卢莺;;控制系统数据处理平台开发与应用[J];弹箭与制导学报;2009年04期

中国重要会议论文全文数据库 前6条

1 王业斌;徐建鹏;王凯;;安徽省常规防雷业务服务数据处理平台的开发[A];信息技术在气象领域的开发应用论文集（一）[C];2005年

2 季晓林;刘海砚;;基于数据处理平台的空间矢量数据融合[A];中国地理信息系统协会第八届年会论文集[C];2004年

3 赵旭霞;刘立峰;邵起明;;智能路测系统中的数据处理平台[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年

4 张鹏;;基于XML/Java的数据处理平台[A];Java技术及应用的进展——第八届中国Java技术及应用交流大会文集[C];2005年

5 丁辉;张大华;罗志明;;基于Hadoop的海量数据处理平台研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

6 陶金花;苏林;李树楷;;一种基于网格的LiDAR数据处理平台架构[A];2007年先进激光技术发展与应用研讨会论文集[C];2007年

中国重要报纸全文数据库 前5条

1 本报记者 刘书臻;山东：数据处理平台建成[N];中国信息报;2011年

2 杨小国;“四大工程”助推普查资料开发提速[N];中国信息报;2012年

3 董平;创新,永不止步[N];中国国门时报;2011年

4 《网络世界》记者 李夏艳;直面无线挑战[N];网络世界;2012年

5 ;“康师傅”喜新厌旧[N];网络世界;2002年

中国博士学位论文全文数据库 前1条

1 林文辉;基于Hadoop的海量网络数据处理平台的关键技术研究[D];北京邮电大学;2014年

中国硕士学位论文全文数据库 前10条

1 张利平;基于MPC8536的雷达嵌入式数据处理平台设计[D];电子科技大学;2015年

2 潘思聪;基于云环境的电信数据处理平台设计与实现[D];上海交通大学;2014年

3 严华;统计局数据处理平台的设计和实现[D];电子科技大学;2014年

4 张波;基于大数据技术的公安移动通信数据处理平台设计与实现[D];山东大学;2016年

5 周碧漳;面向量化交易的金融数据处理平台研究与原型实现[D];电子科技大学;2016年

6 张杰;面向车载信息的大规模数据处理平台技术研究[D];电子科技大学;2016年

7 王华慈;MapReduce型海量数据处理平台中数据放置技术研究[D];北京工业大学;2016年

8 樊明璐;流式大数据处理平台中资源动态调度技术研究[D];北京工业大学;2016年

9 杨鹏;面向流式数据处理平台JStorm的负载均衡技术研究[D];北京工业大学;2016年

10 但玻;城市热岛效应卫星遥感数据处理平台研发[D];电子科技大学;2011年

，

本文编号：718722