基于组态组件的铁道电力监控信息HBase云存储研究

发布时间：2017-08-03 19:17

  本文关键词：基于组态组件的铁道电力监控信息HBase云存储研究

  更多相关文章： 电力大数据 铁路供电监控 Hadoop云计算 HBase数据库 力控组态软件 Sqoop技术

【摘要】：目前,随着电网规模的逐渐扩大和走向智能化,各种智能电表、传感器、物联网系统等智能设备将应用于电力监控系统中,电力监测的数据量极大且以几何形式大规模增长,达到TB甚至PB量级。仅以录波数据为例,针对目前的主流故障录波器的结构和所采用的录波技术,则故障录波瞬时数据采集量为2.008MB/s,每7日采集的数据量为1185.978G,每一年采集的数据量就为432.882TB。作为保障电力系统正常运行的重要支撑,电力大数据存储的安全性和处理的高效性显的至关重要。现有的供电监控系统采用磁盘阵列作为硬件设备进行数据的存储,采用关系型数据库系统进行数据库管理,采用套装软件应用于紧密耦合类业务,致使数据库管理系统的扩展性差、存储能力有限及分析速度慢,难以适应供电监控系统对状态监测数据可靠性和实时性的更高的要求。学术界在电力SCADA领域引入云计算,将云计算技术应用于铁路供电监控大数据的存储管理,研究供电监控大数据的应对方案。Hadoop云计算的分布式文件系统支持负载均衡策略,具有可伸缩性,从而增强了整个供电监控系统的业务承载能力。使用架构在Hadoop云计算平台上的HBase数据库存储系统对监控大数据进行管理,采用并行处理、分布式运算的方式,可以实现强大的海量数据存储和计算功能,具有高容错和高可靠性,突破了大数据传统存储方式下分析计算存在的瓶颈和容灾问题,为供电监控系统海量数据安全、高效的存储和管理提供了一种新的解决思路。针对铁路供电监控系统关系型数据库存储的特点,结合Hadoop集群和HBase存储技术以及实际软硬件实力,本文实现了一种基于HBase数据库的铁路供电监控系统海量数据的存储方式。首先,利用力控(Force Control)组态软件开发10k V供电网监控系统,实现对设备运行情况的实时监督与控制;然后,将监控系统采集的数据经一次转存至My SQL关系型数据库中;最后,通过Sqoop技术将转存后的My SQL数据库进行二次转存,存储至HBase的No SQL数据库中,进行监控数据的云存储研究。实验表明:可以进行铁道供电监控系统的HBase云存储,实现了数据从关系型数据库转存至非关系型数据库,在数据存储方面比传统的关系型数据库存储方式有更多的优势,并且数据量越大,存储效率更高且读取速度更快,HBase的优势越能体现出来。研究结果对铁路供电监控系统大数据的处理具有重要的理论和实践价值。
【关键词】：电力大数据 铁路供电监控 Hadoop云计算 HBase数据库 力控组态软件 Sqoop技术
【学位授予单位】：华东交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U224.9
【目录】：

• 摘要3-4
• ABSTRACT4-8
• 第一章 绪论8-14
• 1.1 课题的研究背景和意义8-9
• 1.2 国内外研究状况9-12
• 1.2.1 云计算的研究状况9-11
• 1.2.2 监控组态组件发展概况11-12
• 1.3 主要研究内容及结构12-14
• 第二章 铁道电力分布式监控系统与技术应用14-22
• 2.1 铁路供电系统14-16
• 2.2 铁路供电监控应用背景16-18
• 2.3 铁路电力监控系统组成18-20
• 2.3.1 调度端18
• 2.3.2 监控终端18-19
• 2.3.3 通信通道19-20
• 2.4 铁路电力监控技术应用20
• 2.5 本章小结20-22
• 第三章 基于组态组件的调度监控系统实现22-45
• 3.1 组态组件22-25
• 3.1.1 组态系统22-24
• 3.1.2 组态软件特点24-25
• 3.2 力控组态技术25-26
• 3.3 调度监控的组态开发流程26-27
• 3.4 实时监控工程的建立27-28
• 3.5 图形界面组态开发28-33
• 3.6 I/O设备组态驱动设置33-35
• 3.7 监控数据库组态的创建35-38
• 3.8 图形界面的动态连接组态38-40
• 3.9 其他组件应用40-44
• 3.10 本章小结44-45
• 第四章 基于Hadooop的调度监控系统云平台的构建45-58
• 4.1 云计算45-50
• 4.1.1 云计算技术45-46
• 4.1.2 云计算的服务模式46-47
• 4.1.3 云计算应用的特点47-48
• 4.1.4 云计算关键技术48-50
• 4.2 Hadoop云计算平台50-53
• 4.2.1 Hadoop平台50
• 4.2.2 分布式文件系统HDFS50-52
• 4.2.3 Map Reduce处理技术52-53
• 4.3 调度监控云平台的搭建53-55
• 4.4 调度监控云平台的运行及测试55-56
• 4.5 本章小结56-58
• 第五章 调度监控系统HBase云存储实现58-78
• 5.1 基于组态组件实现HBase云存储的总体设计58
• 5.2 调度监控数据转储数据库的实现58-63
• 5.2.1 数据转储至关系型数据库58-59
• 5.2.2 转储用的小型关系数据库59-60
• 5.2.3 监控数据转储至My SQL数据库60-63
• 5.3 HBase分布式No SQL数据库63-66
• 5.3.1 HBase分布数据库技术63-65
• 5.3.2 HBase数据库安装和配置部署65-66
• 5.4 调度监控数据HBase云存储实现66-71
• 5.4.1 Sqoop安装配置66
• 5.4.2 Sqoop转储HBase云平台的实现66-71
• 5.5 调度监控系统HBase云存储性能测试71-77
• 5.6 本章小结77-78
• 第六章 总结78-79
• 6.1 主要工作总结78
• 6.2 进一步工作展望78-79
• 参考文献79-82
• 个人简历 在读期间发表的学术论文82-83
• 致谢83

【相似文献】

中国期刊全文数据库 前10条

1 宗志方;提高控制系统的可靠性——略论组态软件的重要作用[J];工程设计CAD与智能建筑;2001年09期

2 韩伟,向文国,沈来宏;单元机组优化运行及分析的可视化组态[J];能源研究与利用;2004年01期

3 刘洋,蔡慧,朱善安,朱桂林,覃俊;远程电工电子实验的组态解决方案[J];浙江大学学报(工学版);2005年05期

4 刘波涛;陈慧;;组态软件在智能建筑中的应用[J];中国新技术新产品;2011年04期

5 刘思训,何家祥,孙艳霞,白玲;控制算法图形组态软件的设计与实现[J];仪器仪表学报;1997年02期

6 刘贺锋,钱清泉;基于组态软件的当地监控实现方案[J];电力自动化设备;2002年05期

7 肖洪文;王冰;;柴油调和控制系统的构成与组态[J];化工自动化及仪表;2013年09期

8 白焰,梁庚,李文;WorldFIP现场总线控制系统策略组态软件的设计开发[J];中国电机工程学报;2005年02期

9 杨庆柏，，韩希昌;INFI—90的组态操作[J];华东电力;1994年05期

10 姚峻,沈丛奇;DCS系统设计思想及组态方法的探讨[J];华东电力;2002年01期

中国重要会议论文全文数据库 前4条

1 陈慧;肖炜;;组态软件的应用[A];矿山建设工程技术新进展——2009全国矿山建设学术会议文集（下册）[C];2009年

2 占亮亮;花胜强;向南;吴骏;;智能水电厂画面组态软件研究与应用[A];2013年电力系统自动化专委会年会论文[C];2013年

3 高仁鹏;左玉仙;;组态软件IFIX3．5在电除尘中的应用[A];第十一届全国电除尘学术会议论文集[C];2005年

4 罗昊;陈朝俊;;利用VB进行图形组态设计的方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

中国重要报纸全文数据库 前1条

1 广州 耿德根;SL-MCGS组态开发实验系统[N];电子报;2001年

中国博士学位论文全文数据库 前1条

1 梁庚;基于IEC61131-3标准的分布式智能系统策略组态软件包开发研究[D];华北电力大学（北京）;2005年

中国硕士学位论文全文数据库 前10条

1 刘靖宇;基于组态软件的嵌入式人机界面设计[D];湖南科技大学;2015年

2 李立帆;基于组态组件的铁道电力监控信息HBase云存储研究[D];华东交通大学;2016年

3 黄英杰;基于现场总线控制系统的组态软件研究[D];辽宁工学院;2007年

4 王书平;组态软件若干关键技术研究[D];西安电子科技大学;2012年

5 白冬梅;基于嵌入式技术的热工过程控制器运行组态研究[D];华北电力大学（河北）;2005年

6 谭晓鹏;工业控制中嵌入式组态的研究[D];电子科技大学;2011年

7 杨毅;基于嵌入式系统的组态软件研究[D];哈尔滨理工大学;2012年

8 黄伟栋;基于构件技术的异构嵌入式组态系统研究[D];杭州电子科技大学;2010年

9 胡敏;电站仿真机界面组态及操作站管理系统的开发[D];重庆大学;2003年

10 赖于树;基于嵌入式的控制策略组态及监控组态技术研究[D];电子科技大学;2006年

本文编号：615915