Storm平台的工作节点节能调控策略
发布时间：2021-01-03 09:35
用于大规模数据处理的流式计算平台,可以实时、分布式的对数据进行处理,具有操作简单、高效等特点,已应用于各行各业。Apache Storm作为一款开源、分布式、实时处理的高容错大数据流式计算平台,存在高能耗问题。为了更好的解决Storm平台在进行数据处理过程中的高能耗低效率问题,本文在Storm平台基本构架及处理模式的基础上,对一系列概念进行了定义,提出了拓扑逻辑关系图、关键路径、关键路径数据处理成本、性耗比及数据传输量与CPU使用率阈值选择等模型。在此基础上提出一种针对Storm平台的工作节点节能调控策略,该策略针对拓扑执行不同路径上的工作节点实施不同的节能策略。针对拓扑执行关键路径工作节点,提出了工作节点内存电压调控策略（Energy-efficient Strategy by adjusting the DRAM voltage of work nodes in critical path,EACP）,在性耗比模型的约束下,对系统数据处理及CPU使用情况进行判断,通过对工作节点内存电压进行调控达到节能的目的;针对拓扑执行非关键路径工作节点,提出了工作节点CPU电压调控策略（Ener...
【文章来源】：新疆大学新疆维吾尔自治区 211工程院校
【文章页数】：52 页
【学位级别】：硕士
【部分图文】：
Storm系统架构
图 3-1 拓扑逻辑关系图 3-2 拓扑执行并行度。在 Storm 中可以通过设置组件的运行实执行并行度。其中每个线程执行一个实例，每个 Spout/Bolt 组个或多个线程。对于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，线程集合中的每个元素均是组件 vi所运行的线程，eij为 vi。当组件所设置的运行实例数为 1 时，组件中只运行一个线程，即 所示，其中线程集合{ed1,ed2,ed3}是组件 vd的所有线程。
图 3-1 拓扑逻辑关系图 3-2 拓扑执行并行度。在 Storm 中可以通过设置组件的运行实执行并行度。其中每个线程执行一个实例，每个 Spout/Bolt 组个或多个线程。对于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，线程集合中的每个元素均是组件 vi所运行的线程，eij为 vi。当组件所设置的运行实例数为 1 时，组件中只运行一个线程，即 所示，其中线程集合{ed1,ed2,ed3}是组件 vd的所有线程。
【参考文献】：
期刊论文
[1]大数据流式计算框架Heron环境下的流分类任务调度策略[J]. 张译天,于炯,鲁亮,李梓杨. 计算机应用. 2019(04)
[2]Storm环境下基于拓扑结构的任务调度策略[J]. 刘粟,于炯,鲁亮,李梓杨. 计算机应用. 2018(12)
[3]大数据流式计算框架Storm的任务迁移策略[J]. 鲁亮,于炯,卞琛,刘月超,廖彬,李慧娟. 计算机研究与发展. 2018(01)
[4]MapReduce能耗建模及优化分析[J]. 廖彬,张陶,于炯,尹路通,郭刚,国冰磊. 计算机研究与发展. 2016(09)
[5]温度感知的MapReduce节能任务调度策略[J]. 廖彬,张陶,于炯,刘继,尹路通,郭刚. 通信学报. 2016(01)
[6]适应节能与异构环境的MapReduce数据布局策略[J]. 廖彬,张陶,于炯,刘继,钟磊,刘炎. 中山大学学报(自然科学版). 2015(06)
[7]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民. 软件学报. 2014(04)
[8]2013年数据中心能效现状深度分析[J]. 吕天文. 电源世界. 2013(06)
[9]基于分布式文件系统HDFS的节能算法[J]. 廖彬,于炯,张陶,杨兴耀. 计算机学报. 2013(05)
[10]基于存储结构重配置的分布式存储系统节能算法[J]. 廖彬,于炯,孙华,年梅. 计算机研究与发展. 2013(01)
本文编号：2954752
【文章来源】：新疆大学新疆维吾尔自治区 211工程院校
【文章页数】：52 页
【学位级别】：硕士
【部分图文】：
Storm系统架构
图 3-1 拓扑逻辑关系图 3-2 拓扑执行并行度。在 Storm 中可以通过设置组件的运行实执行并行度。其中每个线程执行一个实例，每个 Spout/Bolt 组个或多个线程。对于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，线程集合中的每个元素均是组件 vi所运行的线程，eij为 vi。当组件所设置的运行实例数为 1 时，组件中只运行一个线程，即 所示，其中线程集合{ed1,ed2,ed3}是组件 vd的所有线程。
图 3-1 拓扑逻辑关系图 3-2 拓扑执行并行度。在 Storm 中可以通过设置组件的运行实执行并行度。其中每个线程执行一个实例，每个 Spout/Bolt 组个或多个线程。对于 vi∈Vp， Ei={ei1,ei2,…,eij,…,| |piVe }，其中 集合，线程集合中的每个元素均是组件 vi所运行的线程，eij为 vi。当组件所设置的运行实例数为 1 时，组件中只运行一个线程，即 所示，其中线程集合{ed1,ed2,ed3}是组件 vd的所有线程。
【参考文献】：
期刊论文
[1]大数据流式计算框架Heron环境下的流分类任务调度策略[J]. 张译天,于炯,鲁亮,李梓杨. 计算机应用. 2019(04)
[2]Storm环境下基于拓扑结构的任务调度策略[J]. 刘粟,于炯,鲁亮,李梓杨. 计算机应用. 2018(12)
[3]大数据流式计算框架Storm的任务迁移策略[J]. 鲁亮,于炯,卞琛,刘月超,廖彬,李慧娟. 计算机研究与发展. 2018(01)
[4]MapReduce能耗建模及优化分析[J]. 廖彬,张陶,于炯,尹路通,郭刚,国冰磊. 计算机研究与发展. 2016(09)
[5]温度感知的MapReduce节能任务调度策略[J]. 廖彬,张陶,于炯,刘继,尹路通,郭刚. 通信学报. 2016(01)
[6]适应节能与异构环境的MapReduce数据布局策略[J]. 廖彬,张陶,于炯,刘继,钟磊,刘炎. 中山大学学报(自然科学版). 2015(06)
[7]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民. 软件学报. 2014(04)
[8]2013年数据中心能效现状深度分析[J]. 吕天文. 电源世界. 2013(06)
[9]基于分布式文件系统HDFS的节能算法[J]. 廖彬,于炯,张陶,杨兴耀. 计算机学报. 2013(05)
[10]基于存储结构重配置的分布式存储系统节能算法[J]. 廖彬,于炯,孙华,年梅. 计算机研究与发展. 2013(01)
本文编号：2954752
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2954752.html
