面向工业的数据处理系统设计与实现

发布时间：2021-04-02 02:24

　　工业4.0时代的到来,加上互联网和计算机技术的迅速发展,为工业生产和工业管理等环节带来了大量的工业数据,工业大数据的分析挖掘成为未来工业信息化发展的关键。但是工业领域涉及广泛、结构复杂、影响因素多样,工业大数据具有数据量大、实时性高、结构复杂、存储介质多样等特点。随着数据量的累计,传统的数据处理方式难以解决工业大数据数据量大、结构复杂的难题,亟需新的工业大数据平台来统一管理这些海量的数据,并尽可能的挖掘这些数据潜在价值,为智能化生产提供决策。本文依据工业大数据的特点与需求,设计了一个面向工业的数据处理系统,该系统设计了五层架构体系。分别为数据采集层、数据缓冲层、数据存储层、数据分析层和交互层。数据采集层主要的功能是与数据转发设备进行通信,负责工业生产过程中实时数据的采集;采集层之上是数据缓冲层,利用了Kafka分布式消息中间件,对实时采集的数据进行缓冲和临时存储,目的是实现数据采集和数据处理的解耦;数据存储层位于缓冲层之上,针对工业数据多源异构同的特点,选取了MySQL和分布式文件系统HDFS作为存储介质,负责工业数据的多级别存储功能,解决工业海量数据的存储问题;数据分析层以Spark... 

【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
        1.2.1 互联网领域大数据研究现状
        1.2.2 工业领域大数据研究现状
    1.3 研究目标和内容
    1.4 论文章节安排
2 系统需求分析及相关技术研究
    2.1 系统需求分析
    2.2 相关技术研究
        2.2.1 分布式文件系统HDFS
        2.2.2 数据仓库技术Hive
        2.2.3 NoSQL数据库HBase
        2.2.4 分布式消息队列Kafka
        2.2.5 大数据计算框架Spark
    2.3 本章小结
3 工业大数据处理系统设计
    3.1 系统设计目标
    3.2 系统架构设计
    3.3 系统各个层次的设计
        3.3.1 数据采集层设计
        3.3.2 缓冲层设计
        3.3.3 数据存储层设计
        3.3.4 数据分析层设计
        3.3.5 交互层设计
    3.4 本章小结
4 系统实现与工业应用案例
    4.1 系统运行环境
        4.1.1 硬件环境
        4.1.2 软件环境
    4.2 系统集群搭建
    4.3 系统各个层次实现及应用
        4.3.1 系统开发架构
        4.3.2 数据采集层的实现
        4.3.3 缓冲层的实现
        4.3.4 数据存储层的实现
        4.3.5 数据分析层的实现
        4.3.6 交互层的实现
    4.4 本章小结
结论
参考文献
致谢



本文编号：3114413