基于OpenTSDB的能源管理系统并行架构研究
发布时间：2021-05-23 00:53
能源管理系统是制造业尤其是高耗能工业进行能源管理,生产监测的重要工具,为企业制定节能减排措施提供了理论和数据支撑。能源数据的采集频率决定着能源管理系统进行数据分析的精细粒度,高效的查询分析速度可以帮助企业管理人员及时发现能耗异常的出现,并采取相应的应对措施。而传统单点关系型数据库,在实际应用中表现出了明显的性能不足,将大数据技术与能源管理系统相结合是必然的趋势。本文就佛山某铝业在能源管理系统使用过程中遇到高频采集入库困难,历史能源数据查询分析响应过慢两个问题,提出相应的大数据解决方案,具体研究工作如下:1)研究能源管理系统的总体架构及逻辑,根据佛山某铝业当前使用的SqlServer数据库中表结构以及字段,对能耗数据进行特征分析;并根据数据库中当前数据量,预估高频采集之后的数据量大小。2)针对高频采集能源数据入库阻塞丢失的问题,设计一套异构数据库存储方案。原有的SqlServer数据库用来存储基础数据,高频采集,急速增长的能源数据,采用分布式存储系统来存储。并通过对比分析,选取了基于Hbase集群的时间序列数据库OpenTSDB,利用OpenTSDB高吞吐量,支持多TSD节点并行写入的特...
【文章来源】：广东工业大学广东省
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 论文选题背景
1.2 研究现状
1.2.1 能源管理系统研究及应用现状
1.2.2 海量数据存储应用研究现状
1.3 论文研究的意义及课题来源
1.3.1 论文研究的意义
1.3.2 论文的课题来源
1.4 本文研究内容的结构体系
第二章 基于OpenTSDB的高吞吐能源数据存储方案设计
2.1 能源管理系统
2.2 能源数据特征分析
2.3 存储方案设计
2.3.1 方案设计综述
2.3.2 OpenTSDB数据库架构
2.3.3 异构数据库架构
2.4 高吞吐能源数据存储方案优势与代价分析
2.4.1 高吞吐能源数据存储方案优势分析
2.4.2 高吞吐能源数据存储系统代价分析
2.5 本章小结
第三章 基于OPC-OpenTSDB的并行采集存储系统实现
3.1 引言
3.2 OPC采集技术
3.2.1 OPC协议
3.2.2 OPC技术在能源数据采集中的具体应用
3.2.3 OPC采集服务器配置
3.3 基于OPC-OpenTSDB的并行采集存储技术实现
3.3.1 OPC采集程序
3.3.2 Hadoop和Hbase集群搭建
3.3.3 OpenTSDB的搭建
3.3.4 OPC-OpenTSDB的并行采集存储
3.4 本章小结
第四章 基于Spark的能源管理系统并行处理技术研究
4.1 引言
4.2 大数据并行计算框架
4.2.1 MapReduce模型
4.2.2 Spark并行计算框架
4.3 考虑能源数据相关性的多副本一致性Hash算法
4.4 基于Spark的能源数据并行查询分析
4.4.1 基于Compressed Bloom Filter的Spark Sql关联优化
4.4.2 Compressed Bloom Filter关联优化网络传输代价评估
4.5 本章小结
第五章 实验测试与分析
5.1 引言
5.2 实验环境
5.3 性能测试与分析
5.3.1 能源数据并行写入测试分析
5.3.2 能源数据并行查询测试分析
5.4 本章小结
总结与展望
参考文献
攻读学位期间发表的论文及专利
致谢
【参考文献】：
期刊论文
[1]基于OPC技术的PLC和MATLAB的水箱液位控制系统[J]. 王美刚. 仪器仪表用户. 2017(12)
[2]基于多源异构数据库融合创新决策支持服务——以华东师范大学学科评估系统为例[J]. 于亚秀,李欣,鲁丹,程静. 图书馆学研究. 2017(04)
[3]分布式存储系统中改进的一致性哈希算法[J]. 王康,李东静,陈海光. 计算机技术与发展. 2016(07)
[4]MongoDB平衡器的研究与优化[J]. 张路路. 信息通信. 2015(03)
[5]基于物联网、云计算和大数据的工业能源管理系统[J]. 刘勇,闫鲁杰. 供用电. 2014(12)
[6]计算机机房维护常见问题和对策[J]. 苏丽娅·艾尔肯. 信息系统工程. 2014(06)
[7]EMS系统在宝钢中的应用[J]. 陆闻玺. 科技风. 2011(22)
[8]美国能源发展战略走向及启示[J]. 刘助仁. 国际技术经济研究. 2007(02)
[9]冶金企业能源管理系统[J]. 冯为民,丛力群. 控制工程. 2005(06)
[10]现代化能源监控及管理系统的集成与应用[J]. 张娣,李桂红,冯为民. 宝钢技术. 2005(04)
博士论文
[1]云平台下电力设备监测大数据存储优化与并行处理技术研究[D]. 宋亚奇.华北电力大学(北京) 2016
[2]制造业企业服务化战略的生成逻辑与作用机制[D]. 胡查平.武汉大学 2014
硕士论文
[1]基于校园大数据的学生行为分析与预测方法研究[D]. 梁柱.西安理工大学 2017
[2]基于Spark的SQL连接优化研究与应用[D]. 邵帅.北京交通大学 2017
[3]基于OpenStack云资源监控系统设计与实现[D]. 朱亚楠.电子科技大学 2016
[4]基于 MongoDB的云数据管理技术的研究与应用[D]. 刘一梦.北京交通大学 2012
[5]我国能源强度影响因素的实证分析[D]. 范文潮.山东财经大学 2012
[6]OPC数据访问服务器的开发研究及实现[D]. 何永亚.华南理工大学 2012
[7]烟草企业能源管理系统应用研究[D]. 唐易.湖南大学 2008
[8]北京网通能源管理系统的软件设计[D]. 赵宇.北京邮电大学 2008
本文编号：3201969
【文章来源】：广东工业大学广东省
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 论文选题背景
1.2 研究现状
1.2.1 能源管理系统研究及应用现状
1.2.2 海量数据存储应用研究现状
1.3 论文研究的意义及课题来源
1.3.1 论文研究的意义
1.3.2 论文的课题来源
1.4 本文研究内容的结构体系
第二章 基于OpenTSDB的高吞吐能源数据存储方案设计
2.1 能源管理系统
2.2 能源数据特征分析
2.3 存储方案设计
2.3.1 方案设计综述
2.3.2 OpenTSDB数据库架构
2.3.3 异构数据库架构
2.4 高吞吐能源数据存储方案优势与代价分析
2.4.1 高吞吐能源数据存储方案优势分析
2.4.2 高吞吐能源数据存储系统代价分析
2.5 本章小结
第三章 基于OPC-OpenTSDB的并行采集存储系统实现
3.1 引言
3.2 OPC采集技术
3.2.1 OPC协议
3.2.2 OPC技术在能源数据采集中的具体应用
3.2.3 OPC采集服务器配置
3.3 基于OPC-OpenTSDB的并行采集存储技术实现
3.3.1 OPC采集程序
3.3.2 Hadoop和Hbase集群搭建
3.3.3 OpenTSDB的搭建
3.3.4 OPC-OpenTSDB的并行采集存储
3.4 本章小结
第四章 基于Spark的能源管理系统并行处理技术研究
4.1 引言
4.2 大数据并行计算框架
4.2.1 MapReduce模型
4.2.2 Spark并行计算框架
4.3 考虑能源数据相关性的多副本一致性Hash算法
4.4 基于Spark的能源数据并行查询分析
4.4.1 基于Compressed Bloom Filter的Spark Sql关联优化
4.4.2 Compressed Bloom Filter关联优化网络传输代价评估
4.5 本章小结
第五章 实验测试与分析
5.1 引言
5.2 实验环境
5.3 性能测试与分析
5.3.1 能源数据并行写入测试分析
5.3.2 能源数据并行查询测试分析
5.4 本章小结
总结与展望
参考文献
攻读学位期间发表的论文及专利
致谢
【参考文献】：
期刊论文
[1]基于OPC技术的PLC和MATLAB的水箱液位控制系统[J]. 王美刚. 仪器仪表用户. 2017(12)
[2]基于多源异构数据库融合创新决策支持服务——以华东师范大学学科评估系统为例[J]. 于亚秀,李欣,鲁丹,程静. 图书馆学研究. 2017(04)
[3]分布式存储系统中改进的一致性哈希算法[J]. 王康,李东静,陈海光. 计算机技术与发展. 2016(07)
[4]MongoDB平衡器的研究与优化[J]. 张路路. 信息通信. 2015(03)
[5]基于物联网、云计算和大数据的工业能源管理系统[J]. 刘勇,闫鲁杰. 供用电. 2014(12)
[6]计算机机房维护常见问题和对策[J]. 苏丽娅·艾尔肯. 信息系统工程. 2014(06)
[7]EMS系统在宝钢中的应用[J]. 陆闻玺. 科技风. 2011(22)
[8]美国能源发展战略走向及启示[J]. 刘助仁. 国际技术经济研究. 2007(02)
[9]冶金企业能源管理系统[J]. 冯为民,丛力群. 控制工程. 2005(06)
[10]现代化能源监控及管理系统的集成与应用[J]. 张娣,李桂红,冯为民. 宝钢技术. 2005(04)
博士论文
[1]云平台下电力设备监测大数据存储优化与并行处理技术研究[D]. 宋亚奇.华北电力大学(北京) 2016
[2]制造业企业服务化战略的生成逻辑与作用机制[D]. 胡查平.武汉大学 2014
硕士论文
[1]基于校园大数据的学生行为分析与预测方法研究[D]. 梁柱.西安理工大学 2017
[2]基于Spark的SQL连接优化研究与应用[D]. 邵帅.北京交通大学 2017
[3]基于OpenStack云资源监控系统设计与实现[D]. 朱亚楠.电子科技大学 2016
[4]基于 MongoDB的云数据管理技术的研究与应用[D]. 刘一梦.北京交通大学 2012
[5]我国能源强度影响因素的实证分析[D]. 范文潮.山东财经大学 2012
[6]OPC数据访问服务器的开发研究及实现[D]. 何永亚.华南理工大学 2012
[7]烟草企业能源管理系统应用研究[D]. 唐易.湖南大学 2008
[8]北京网通能源管理系统的软件设计[D]. 赵宇.北京邮电大学 2008
本文编号：3201969
本文链接：https://www.wllwen.com/guanlilunwen/glzh/3201969.html
