基于Hadoop的工业大数据监测分析平台技术实现

发布时间：2023-04-22 03:55

　　本文针对传统工业架构下工业企业面临的数据孤岛、数据处理技术不明确、数据利用效率低下等问题,对基于Hadoop的工业时序大数据云平台相关技术架构进行了深入研究,并搭建了基于该架构的小型私有工业大数据云平台,实现了对工厂设备的云端组态、远程监控、预测分析等。该云平台实际应用情况表明其对于大数据技术应用于工业企业、促进管理人员智能决策等具有重要的意义。本文中将上述工业大数据云平台分为云端数据采集子系统、云端数据分布式存储子系统以及云端数据分布式分析子系统,并对各个子系统进行设计和实现。本文的主要工作如下:首先,通过对基于OPC UA协议的数据采集客户端进行开发,同时对Flume,Sqoop等相关组件进行整合,实现了云平台的云端数据采集子系统的构建。最终实验测试表明了该云端数据采集子系统对于多种数据源数据的采集支持以及该子系统的高可用性和高可扩展性。其次,通过对Hadoop生态圈中HDFS、HBase等相关功能组件、实时数据库Redis以及传统关系型数据库MySQL等组件的部署整合,实现了基于Hadoop生态圈的云端数据分布式存储子系统对于工业大数据的高可靠和多样化存储利用。然后,通过对GRU...

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 工业大数据研究现状
    1.3 课题研究内容
    1.4 课题的创新点
    1.5 论文组织结构
第二章 云平台概述及系统设计
    2.1 云平台概述
    2.2 云平台需求分析
        2.2.1 云平台总体需求分析
        2.2.2 云平台其他需求分析
    2.3 大数据相关技术理论
        2.3.1 Spark分布式计算框架
        2.3.2 GRU门限递归神经网络
    2.4 云平台总体架构设计
        2.4.1 云端数据采集子系统
        2.4.2 云端数据分布式存储子系统
        2.4.3 云端数据分布式分析子系统
    2.5 本章小结
第三章 云端数据采集子系统设计与实现
    3.1 功能需求分析
    3.2 功能模块总览
    3.3 相关技术及框架介绍
    3.4 子模块设计与实现
        3.4.1 连接管理模块
        3.4.2 数据监测模块
        3.4.3 数据订阅报警模块
        3.4.4 其他服务接口模块
    3.5 本章小结
第四章 基于GRU网络的云端数据分析子系统设计与实现
    4.1 需求分析
    4.2 架构设计与优势
        4.2.1 架构设计
        4.2.2 架构的优势
    4.3 GRU神经网络的设计
        4.3.1 网络整体结构
        4.3.2 网络设计
    4.4 GRU神经网络的实现
        4.4.1 网络处理流程
        4.4.2 数据归一化
        4.4.3 模型训练
        4.4.4 模型效果评价指标
        4.4.5 模型效果测试
    4.5 并行分布式模型训练
        4.5.1 模型并行化训练原理
        4.5.2 模型并行化训练实现
    4.6 本章小结
第五章 云平台整体部署及成果展示
    5.1 实验环境介绍
        5.1.1 实验设备网络拓扑
        5.1.2 环境介绍
    5.2 云平台子系统部署及测试
        5.2.1 云端数据采集子系统部署及测试
        5.2.2 云端数据分布式存储子系统部署及测试
        5.2.3 云端数据分布式分析子系统部署及测试
    5.3 云平台整体成果展示
        5.3.1 云端登录与实时监控
        5.3.2 报警管理
        5.3.3 历史数据查询
        5.3.4 数据预测分析
    5.4 本章小结
第六章 全文总结与未来展望
    6.1 全文总结
    6.2 未来展望
参考文献
在学期间的研究成果
致谢



本文编号：3796865