基于LSTM神经网络的Hadoop集群节能问题研究

发布时间：2023-05-31 21:56

　　云计算技术的发展使得数据中心的规模和数量不断扩大,随之而来的问题是能耗成本越来越高。Hadoop是现阶段应用广泛的数据处理平台,在数据中心的部署规模巨大。如何降低Hadoop集群的功率消耗,既节约成本,又保证服务质量,是当前研究的热点问题。本文从实际应用出发,首先分析了传统Hadoop集群的YARN和HDFS数据块存储的原理。Hadoop YARN的主流调度策略更多关注于计算资源的分配,忽略了集群任务处理量的动态变化,导致集群节点可能长时间处于低负载的状态而造成能耗浪费。同时,数据节点存储的数据块会有相当大比例的时间变为冷数据,而且这些数据会占用计算节点的存储资源。针对以上问题,本文结合Hadoop的系统结构和原理,进行了如下研究工作:(1)设计了针对Hadoop集群的节能系统方案,包括底层集群节点的数据收集,中间层的能耗模型、节点负载的预测,上层的作业调度。方案的每层都结合开源工具和框架的优点,使得整体Hadoop方案达到较好的节能效果。(2)Hadoop集群的负载在多数情况下处于很低的水平,但是节点依然以较低的负载运行。本文提出了基于长短期记忆网络LSTM的节点负载状态预测任务调度...

【文章页数】：70 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 本文主要工作
    1.4 本文的组织结构
2 相关概念和理论
    2.1 Hadoop原理介绍
    2.2 LSTM
    2.3 Zabbix
    2.4 本章小结
3 Hadoop集群节能系统方案设计
    3.1 系统架构设计
    3.2 节能方案分析
    3.3 能耗模型
    3.4 本章小结
4 基于集群节点负载状态预测的作业调度算法
    4.1 负载分析和节点任务处理特征
    4.2 节能算法描述
    4.3 节能效果分析
    4.4 实验结果和分析
    4.5 本章小结
5 基于集群节点负载状态预测的冷热区域划分节能存储策略
    5.1 数据块存储设计思想
    5.2 数据存储算法描述
    5.3 算法节能分析
    5.4 实验结果和分析
    5.5 本章小结
6 总结与展望
    6.1 本文总结
    6.2 未来工作展望
参考文献
致谢
攻读硕士学位期间主要成果



本文编号：3826074