云平台下输变电设备状态监测大数据存储优化与并行处理

发布时间：2018-01-17 12:29

  本文关键词：云平台下输变电设备状态监测大数据存储优化与并行处理　出处：《中国电机工程学报》2015年02期 　论文类型：期刊论文

  更多相关文章： 大数据 输变电设备 状态监测 一致哈希 云计算

【摘要】：结合大数据技术提升输变电设备状态评价的广度和深度,并解决实际应用问题成为目前电力行业新的挑战。针对输变电设备状态监测大数据可靠存储和快速访问两方面大数据处理核心问题,基于开源的Hadoop云计算实验平台进行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究。提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率。基于数据相关性多副本一致哈希数据分布,应用Map Reduce并行编程模型设计实现了多数据源并行连接查询算法和多通道数据融合并行特征提取算法。将两种算法在实验室搭建的集群上测试运行,结果表明,多数据源并行连接查询的执行时间仅为标准Hadoop方案的32%,多通道数据融合并行特征提取算法执行时间仅为标准Hadoop方案的35%。
[Abstract]:Combined with big data technology to enhance the breadth and depth of the state evaluation of transmission and transformation equipment. Solving the practical application problem has become a new challenge in the power industry at present. Big data deals with the core problems in terms of reliable storage and quick access to two aspects: big data reliable storage and rapid access to power transmission and transformation equipment status monitoring. Based on the open source Hadoop cloud computing experimental platform, the data distribution strategy is carried out, and the size of the data block is optimized. Research on storage optimization in three aspects of cluster network topology planning and research on big data parallel analysis. A multi-replica consistent hash data storage algorithm considering data correlation is proposed. The data with correlation can be gathered in the cluster to improve the efficiency of data processing. Multiple replicas based on data correlation consistent hash data distribution. Application of Map. The parallel programming model of Reduce designs and implements the parallel join query algorithm of multiple data sources and the parallel feature extraction algorithm of multi-channel data fusion. The two algorithms are tested and run on the cluster built in the laboratory. The results show that the execution time of parallel join query of multiple data sources is only 32% of the standard Hadoop scheme. The execution time of parallel feature extraction algorithm for multichannel data fusion is only 35% of the standard Hadoop scheme.
【作者单位】： 华北电力大学控制与计算机工程学院;
【基金】：国家自然科学基金项目(61074078) 中央高校基本科研业务费专项资金资助项目(13MS88,13XS30) 河北省自然科学基金项目(F2014502069)~~
【分类号】：TM73
【正文快照】： Science Foundation of China(F2014502069).行了数据分布策略、数据块尺寸调优、集群网络拓扑规划三方面的存储优化研究和大数据并行分析的研究。提出计及数据相关性的多副本一致哈希数据存储算法,能将具有相关性的数据在集群中聚集,提升数据处理执行效率。基于数据相关性多

【参考文献】

相关期刊论文 前10条

1 王德文;宋亚奇;朱永利;;基于云计算的智能电网信息平台[J];电力系统自动化;2010年22期

2 沐连顺;崔立忠;安宁;;电力系统云计算中心的研究与实践[J];电网技术;2011年06期

3 朱征;顾中坚;吴金龙;桂胜;;云计算在电力系统数据灾备业务中的应用研究[J];电网技术;2012年09期

4 曲朝阳;朱莉;张士林;;基于Hadoop的广域测量系统数据处理[J];电力系统自动化;2013年04期

5 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期

6 宋亚奇;刘树仁;朱永利;王德文;李莉;;电力设备状态高速采样数据的云存储技术研究[J];电力自动化设备;2013年10期

7 张逸;杨洪耕;叶茂清;;基于分布式文件系统的海量电能质量监测数据管理方案[J];电力系统自动化;2014年02期

8 曲广龙;杨洪耕;张逸;;采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案[J];电网技术;2014年06期

9 郭力争;赵曙光;姜长远;;云计算环境下基于关联量的数据部署与任务调度[J];计算机工程与科学;2013年08期

10 赵彦荣;王伟平;孟丹;张书彬;李均;;基于Hadoop的高效连接查询处理算法CHMJ[J];软件学报;2012年08期

【共引文献】

相关期刊论文 前10条

1 王燕;;电力系统信息化架构分层研究[J];北京印刷学院学报;2011年06期

2 王景燕;;基于云计算的电力调度信息化研究[J];电工技术;2011年12期

3 王德文;;基于云计算的电力数据中心基础架构及其关键技术[J];电力系统自动化;2012年11期

4 丁杰;奚后玮;韩海韵;周爱华;;面向智能电网的数据密集型云存储策略[J];电力系统自动化;2012年12期

5 刘汉宇;牟龙华;;微电网CPS体系架构及其物理端研究[J];电力自动化设备;2012年05期

6 梁立松;徐家澍;秦学东;任宇新;樊俊义;田崇军;;内蒙古电力公司云计算技术研究与实践[J];电力信息化;2012年01期

7 周国亮;王桂兰;葛佳;刘治安;孙玉宝;;基于云计算的用户侧短期用电负荷预测技术[J];电力信息化;2012年03期

8 党倩;崔亮;张华峰;;基于MapReduce模型的智能电网数据平台研究[J];电力信息化;2012年05期

9 朱征;顾中坚;吴金龙;桂胜;;云计算在电力系统数据灾备业务中的应用研究[J];电网技术;2012年09期

10 刘萌;褚晓东;张文;冯宗英;;负荷分布式控制的云计算平台构架设计[J];电网技术;2012年08期

相关会议论文 前10条

1 罗志明;丁辉;张大华;;云计算在电力企业经营管理中的应用研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

2 董骏;胡少英;郑思源;;云计算技术在电网智能化中的应用展望[A];2013年中国电机工程学会年会论文集[C];2013年

3 刘海光;潘毅;李立新;;基于云计算的智能电网经济调度研究[A];2013年中国电机工程学会年会论文集[C];2013年

4 桂胜;杨宁;李凡;;基于云计算的电力企业信息系统硬件资源池的研究与建设[A];2013电力行业信息化年会论文集[C];2013年

5 黄蓉;王奔;;面向智能电网的云计算信息中心的应用研究[A];2012电力行业信息化年会论文集[C];2012年

6 桂胜;杨宁;杨永艳;;电力企业云资源管理系统的研究与应用[A];2012电力行业信息化年会优秀论文专辑[C];2012年

7 许高阳;宣筱青;司庆华;颜云松;;云计算智能电表在电力系统的应用[A];2012电力行业信息化年会优秀论文专辑[C];2012年

8 桂胜;杨宁;李凡;;基于云计算的电力企业信息系统硬件资源池的研究与建设[A];2013电力行业信息化年会论文集[C];2013年

9 屈志坚;郭亮;刘明光;陈秋琳;蒋俊俊;;智能配电网量测信息变断面柔性压缩新算法[A];2014年江西省电机工程学会年会论文集[C];2014年

10 屈志坚;郭亮;陈秋琳;蒋俊俊;;Hadoop云构架的智能调度无损集群压缩技术[A];2014年江西省电机工程学会年会论文集[C];2014年

相关博士学位论文 前5条

1 张浩;配电网协同保护与自愈控制研究[D];北京交通大学;2012年

2 江涵;大规模电力系统暂态稳定并行计算研究[D];浙江大学;2012年

3 王磊;电网故障诊断方法及其系统架构研究[D];山东大学;2013年

4 毕艳冰;面向智能电网的通信中间件的关键技术研究[D];山东大学;2013年

5 马莉;云计算环境下煤矿应急管理关键技术研究[D];西安科技大学;2014年

相关硕士学位论文 前10条

1 郭雷风;农业科研云原型系统设计与应用理论研究[D];中国农业科学院;2011年

2 张俊;智能电网EMS数据平台的研究[D];华北电力大学;2011年

3 罗曙华;基于OPNET的服务器集群负载均衡技术研究[D];武汉理工大学;2012年

4 戴景峰;基于Linux的嵌入式谐波检测装置的研究与设计[D];青岛大学;2012年

5 吕素;火电机组节能发电调度优化方法研究[D];郑州大学;2012年

6 戴中华;云计算应用对M公司IT运维服务管理影响的诊断分析[D];华南理工大学;2012年

7 张修琪;基于Linux多核进程调度的研究[D];电子科技大学;2012年

8 叶敏;虚拟化技术在高职院校的应用[D];浙江工业大学;2012年

9 徐婷婷;基于云计算的电力系统潮流分析[D];合肥工业大学;2012年

10 孙惠;基于Hadoop框架的大数据集连接优化算法[D];南京邮电大学;2013年

【二级参考文献】

相关期刊论文 前10条

1 王成山;李鹏;;分布式发电系统仿真理论与方法[J];电力科学与技术学报;2008年01期

2 朱永利;翟学明;姜小磊;;绝缘子泄漏电流的自适应SPIHT数据压缩[J];电工技术学报;2011年12期

3 王景燕;;基于云计算的电力调度信息化研究[J];电工技术;2011年12期

4 郑伟;周喜超;王维洲;郑晶晶;;一种高性能的多级异构电能质量数据库同步方法[J];电力科学与工程;2010年10期

5 周晖;钮文洁;王毅;李涛;杨红;;从缴费行为分析电力客户信用度[J];电力需求侧管理;2006年06期

6 薛禹胜;EEAC与直接法的机理比较(一)——受扰程度函数[J];电力系统自动化;2001年11期

7 程新功,厉吉文,曹立霞,刘雪连;电力系统最优潮流的分布式并行算法[J];电力系统自动化;2003年24期

8 罗建裕,王小英,鲁庭瑞,刘华伟,徐春雷,谢小荣,肖晋宇,李建,吴京涛,王立鼎,胡炯,张涛;基于广域测量技术的电网实时动态监测系统应用[J];电力系统自动化;2003年24期

9 王成山,张家安;暂态稳定分布式仿真计算的改进算法[J];电力系统自动化;2004年14期

10 陈海焱;陈金富;段献忠;;含分布式电源的配电网潮流计算[J];电力系统自动化;2006年01期

相关博士学位论文 前1条

1 赵晶晶;含分布式发电的配电网优化运行研究[D];重庆大学;2009年

相关硕士学位论文 前2条

1 刘军;基于云计算的网络数据容灾关键技术的研究[D];华中师范大学;2011年

2 王德军;容灾技术研究[D];武汉大学;2004年

【相似文献】

相关期刊论文 前10条

1 王文权;;浅论输变电设备接头发热缺陷的预防与处理[J];科学咨询(决策管理);2008年11期

2 韩伟;;输变电设备:发展仍将持续,一些问题亟需注意[J];电力设备;2008年11期

3 白恺;罗日成;;输变电设备风险评估[J];中国电力;2009年10期

4 蔡心一;;2009年输变电年会在常州市召开[J];电工电气;2009年12期

5 张惟中;;输变电设备质量故障分析及对策[J];电力安全技术;2010年01期

6 ;江苏输变电装备战略联盟成立[J];硅谷;2011年04期

7 朱海涛;李珍;王鑫;呼鹏伟;李琦;;红外图谱库在750kV输变电设备管理中的应用[J];甘肃科技纵横;2012年03期

8 方志强;;基于物联网的输变电设备管理的研究[J];科技创业家;2012年20期

9 郭有根;陈炜;张晋峰;;输变电设备状态管理标准化建设[J];科学之友;2012年17期

10 刘仁祥;;输变电设备状态智能化监测[J];农村电气化;2013年04期

相关会议论文 前10条

1 范玉;;输变电设备缺陷的管理[A];华东六省一市电机（电力）工程学会输配电技术研讨会2005年年会论文集[C];2005年

2 王君安;廖承民;;谈新输变电设备冲击送电调度程序的制定[A];山东电机工程学会第四届供电专业学术交流会论文集[C];2007年

3 王友富;;输变电设备状态评价办法及应用分析[A];第十五届华东六省一市电机工程（电力）学会输配电技术研讨会论文集[C];2007年

4 陈永琴;王致;;基于南网事故调规的输变电设备风险计算方法研究[A];2012年云南电力技术论坛论文集（文摘部分）[C];2012年

5 徐维;;浅谈状态检修模式下的输变电设备管理[A];2010年云南电力技术论坛论文集（文摘部分）[C];2010年

6 于柠源;;500kV输变电设备常见缺陷分析[A];山东电机工程学会2011年学术年会论文集[C];2011年

7 程厚高;洪波;;浅谈提高输变电设备可靠性指标的措施[A];第十五届华东六省一市电机工程（电力）学会输配电技术研讨会论文集[C];2007年

8 赵薇;杨莉;沈映泉;;输变电设备物联网状态监测技术架构研究[A];2012年云南电力技术论坛论文集（文摘部分）[C];2012年

9 金海;曾东;;基于生产管理信息系统的输变电设备红外图谱库建设[A];第七届电力工业节能减排学术研讨会论文集[C];2012年

10 金海;曾东;;基于生产管理信息系统的输变电设备红外图谱库建设[A];浙江省电力学会2012年年会优秀论文集[C];2012年

相关重要报纸文章 前10条

1 本报记者 吴杰;企业共话输变电设备产业发展[N];国家电网报;2008年

2 姜超;北京公司输变电设备状态监测系统初步建成[N];国家电网报;2011年

3 本报记者 李瞧;颓势依旧 输变电企业遭遇双重挤压[N];中国工业报;2011年

4 通讯员 陈睿　刘玉峰 魏智兰;重庆500千伏输变电集控中心投运[N];中国电力报;2011年

5 通讯员 耿波;750千伏输变电示范工程满负荷试验取得成功[N];中国电力报;2006年

6 ;专题研究衡变南方输变电产业园建设[N];衡阳日报;2008年

7 尚彦辰;宝鸡高新区输变电设备产业集群优势凸显[N];中国高新技术产业导报;2008年

8 陆华　记者 丁秀玉;江苏输变电装备战略联盟成立[N];科技日报;2011年

9 史慧敏;宁夏公司强化设备管控与运行管理[N];国家电网报;2011年

10 新华社记者 毛海峰　本报记者 胡兴平;输变电制造“第二集团”崛起[N];国家电网报;2009年

相关博士学位论文 前2条

1 朱承治;输变电设备优化检修（OM）若干关键技术研究[D];浙江大学;2008年

2 何杰;输变电设备物联网关键技术研究[D];湖南大学;2013年

相关硕士学位论文 前10条

1 杨漾;输变电设备状态监测系统的信息建模与安全策略研究[D];湖南大学;2012年

2 乔晓玲;鄂尔多斯电业局输变电运检系统应用项目研究[D];华北电力大学;2014年

3 刘宏伟;德州电网输变电设备移动管理系统的研究[D];华北电力大学（河北）;2009年

4 牛冠清;安全效能成本管理在输变电设备检修中的应用研究[D];华北电力大学;2013年

5 秦领;基于在线监测的输变电设备故障诊断方法研究与应用[D];华北电力大学;2014年

6 何砚;输变电设备状态检修绩效评价体系的研究[D];华北电力大学（北京）;2011年

7 黄经宇;输变电设备的全景信息建模与应用[D];湖南大学;2013年

8 张军永;输变电设备物联网的设备编码标识研究[D];湖南大学;2013年

9 黄敏;陕西输变电设备制造业集群发展模式研究[D];西安理工大学;2007年

10 桑绮;输变电设备电场、磁场分布和距离防护研究[D];浙江大学;2006年

，

本文编号：1436193