基于Hadoop的工业大数据存储分析系统

发布时间：2022-12-22 18:39

　　工业大数据具有规模庞大、业务复杂等的特点,为数据存储、查询和分析计算带了难度。为了优化工业大数据存储管理,提高系统存储、查询、分析效率,利用基于Hadoop技术针对业务库和实时监控数据库的存储管理进行优化。系统设计业务库的集群化同步存储架构,基于Maxwell组件将MySQL业务库数据实时同步到HBase,实现业务库的读写分离、提高数据查询和数据分析的效率;其次,基于Kafka和Flink对业务库同步数据进行实时计算处理,实现高并发数据写入场景下的低延迟响应;最后,实验进行了HBase和MySQL的性能对比测试,结果表明本系统在大规模数据场景下具有更好的计算效率表现,能够有效进行工业大数据分析存储。 

【文章页数】：4 页

【文章目录】：
引言
1 相关工作
    1.1 Hadoop平台简介
    1.2 Flink引擎简介
    1.3 Maxwell简介
2 系统总体设计
3 工业大数据存储管理系统
    3.1 基于Maxwell的业务库同步设计
    3.2 基于Kafka和Flink的实时计算
4 系统实现
    4.1 集群环境部署
    4.2 性能测试
5 结束语


【参考文献】：
期刊论文
[1]工业大数据时代技术示能性研究综述与未来展望[J]. 刘祎,王玮.  科技进步与对策. 2019(20)
[2]基于Hadoop的地质矿产大数据分布式存储方法[J]. 赵亚楠,李朝奎,肖克炎,范建福.  地质通报. 2019(Z1)
[3]一种面向工业互联网的云存储方法[J]. 孟祥曦,张凌,郭皓明,郭黎敏,夏乾臣,吕江花,马世龙.  北京航空航天大学学报. 2019(01)
[4]工业大数据分析技术的发展及其面临的挑战[J]. 何文韬,邵诚.  信息与控制. 2018(04)
[5]基于Hadoop、Spark及Flink大规模数据分析的性能评价[J]. 代明竹,高嵩峰.  中国电子科学研究院学报. 2018(02)
[6]基于HBase的工业大数据时序数据存储实现[J]. 张华伟,陈勇,李海斌,潘爱兵,赵俊,崔萌.  电信科学. 2017(S1)
[7]智能变电设备监控与决策辅助系统数据库的设计与实现[J]. 黄新波,张瑜,朱波.  高压电器. 2016(03)
[8]煤矿作业规程管理系统设计及关键技术研究[J]. 王瀚哲,杨超宇,梁胤程.  中国煤炭. 2014(12)
[9]在Hadoop集群下的智能电网数据云仓库设计[J]. 郑柏恒,孟文,易东,梁晓波.  制造业自动化. 2014(19)



本文编号：3723825