一种高效的海量电力暂态数据索引方法

发布时间：2017-07-31 15:19

  本文关键词：一种高效的海量电力暂态数据索引方法

  更多相关文章： COMTRADE数据 海量数据 位图索引 词对齐混合编码

【摘要】：随着故障录波和行波装置的广泛应用和技术进步,IEEE COMTRADE 1999格式暂态数据(简称COMTRADE数据)已经呈现出海量化发展的趋势。如何对海量COMTRADE数据进行快速检索和分析也成为当前亟待解决的问题。文中研究并设计了一种高效的索引框架,该框架构建了以词对齐混合编码(WAH)为基础的位图索引,通过对COMTRADE数据构建元数据并建立相关索引,能够实现高速的电力数据检索,可以解决传统搜索技术的性能问题。该框架通过引入两阶段提交协议(2PC)来保证原始数据和元数据,元数据和索引文件的一致性。在与传统的MySQL关系数据库的比较测试中,所提方法性能更为优越,特别在对多维数据多条件和浮点数检索时,优势更为明显。该框架能够满足当前海量COMTRADE数据检索的需要,并可应用于电力行业其他大数据的存储检索和分析。
【作者单位】： 昆明理工大学计算中心;昆明理工大学电力学院;
【关键词】： COMTRADE数据 海量数据 位图索引 词对齐混合编码
【基金】：国家自然科学基金资助项目(U1202233,51267009)~~
【分类号】：TP311.13;TM769
【正文快照】： 0引言作为电力常用的一种数据格式,IEEECOMTRADE 1999格式暂态数据(简称COMTRADE数据)被广泛用于记录各种电力设备运行状态,例如故障录波、在线监测、行波装置数据和雷电定位系统等。随着电力系统自动化的快速发展,大量录波装置和行波测距装置逐步向高采样率、连续记录和海量

【参考文献】

中国期刊全文数据库 前10条

1 王德文;宋亚奇;朱永利;;基于云计算的智能电网信息平台[J];电力系统自动化;2010年22期

2 俞立婷;何俊佳;陈家宏;;输电线路雷电活动时空分布特征的数据挖掘[J];高电压技术;2008年02期

3 谭丹;杨洪耕;叶茂清;;基于本体和多Agent的电能质量监测信息智能检索模型[J];电网技术;2013年10期

4 桂勋;;基于递推算法的海量COMTRADE数据计算并行化[J];电力系统自动化;2014年01期

5 张逸;杨洪耕;叶茂清;;基于分布式文件系统的海量电能质量监测数据管理方案[J];电力系统自动化;2014年02期

6 梅华威;米增强;吴广磊;;基于MapReduce模型的间歇性能源海量数据处理技术[J];电力系统自动化;2014年15期

7 赵莉;候兴哲;胡君;傅宏;孙洪亮;;基于改进k-means算法的海量智能用电数据分析[J];电网技术;2014年10期

8 余贻鑫;刘艳丽;;智能电网的挑战性问题[J];电力系统自动化;2015年02期

9 陈慧中;陈永光;景宁;陈荦;;PCPF:一种面向多媒体数据库中高维向量匹配的并行索引结构[J];计算机学报;2011年10期

10 张广斌;束洪春;于继来;;利用广义电流模量的行波实测数据半监督聚类筛选[J];中国电机工程学报;2012年10期

【共引文献】

中国期刊全文数据库 前10条

1 王景燕;;基于云计算的电力调度信息化研究[J];电工技术;2011年12期

2 王德文;;基于云计算的电力数据中心基础架构及其关键技术[J];电力系统自动化;2012年11期

3 丁杰;奚后玮;韩海韵;周爱华;;面向智能电网的数据密集型云存储策略[J];电力系统自动化;2012年12期

4 刘汉宇;牟龙华;;微电网CPS体系架构及其物理端研究[J];电力自动化设备;2012年05期

5 梁立松;徐家澍;秦学东;任宇新;樊俊义;田崇军;;内蒙古电力公司云计算技术研究与实践[J];电力信息化;2012年01期

6 周国亮;王桂兰;葛佳;刘治安;孙玉宝;;基于云计算的用户侧短期用电负荷预测技术[J];电力信息化;2012年03期

7 陈慧中;陈永光;景宁;陈荦;王钧;;基于显著区域的月球影像内容特征研究[J];电子学报;2012年05期

8 李永福;司马文霞;陈林;杨鸣;覃彬全;;基于雷电定位数据的雷电流参数随海拔变化规律[J];高电压技术;2011年07期

9 李家启;申双和;;采用闪电定位系统的丘陵山区雷电特征分析[J];高电压技术;2011年09期

10 党倩;崔亮;张华峰;;基于MapReduce模型的智能电网数据平台研究[J];电力信息化;2012年05期

中国重要会议论文全文数据库 前9条

1 董骏;胡少英;郑思源;;云计算技术在电网智能化中的应用展望[A];2013年中国电机工程学会年会论文集[C];2013年

2 刘海光;潘毅;李立新;;基于云计算的智能电网经济调度研究[A];2013年中国电机工程学会年会论文集[C];2013年

3 黄蓉;王奔;;面向智能电网的云计算信息中心的应用研究[A];2012电力行业信息化年会论文集[C];2012年

4 许高阳;宣筱青;司庆华;颜云松;;云计算智能电表在电力系统的应用[A];2012电力行业信息化年会优秀论文专辑[C];2012年

5 屈志坚;郭亮;刘明光;陈秋琳;蒋俊俊;;智能配电网量测信息变断面柔性压缩新算法[A];2014年江西省电机工程学会年会论文集[C];2014年

6 屈志坚;郭亮;陈秋琳;蒋俊俊;;Hadoop云构架的智能调度无损集群压缩技术[A];2014年江西省电机工程学会年会论文集[C];2014年

7 徐长安;余忠源;;基于Hadoop的海量风电数据平台研究[A];2014电力行业信息化年会论文集[C];2014年

8 徐长安;余忠源;;基于Hadoop的海量风电数据平台研究[A];软件定义 面向未来——2014电力行业信息化年会论文集[C];2014年

9 孙峰;钱啸;曾建梁;金烨;钱伟杰;许晶;;基于大数据理念的地市供电公司智能电网规划数据融合研究[A];电力行业信息化优秀论文集2014——2014年全国电力行业两化融合推进会暨全国电力企业信息化大会获奖论文[C];2014年

中国博士学位论文全文数据库 前7条

1 李家启;基于LLS的重庆地区雷电活动规律及其风险评估研究[D];南京信息工程大学;2012年

2 张浩;配电网协同保护与自愈控制研究[D];北京交通大学;2012年

3 王磊;电网故障诊断方法及其系统架构研究[D];山东大学;2013年

4 毕艳冰;面向智能电网的通信中间件的关键技术研究[D];山东大学;2013年

5 李建生;基于电气信息的变电设备状态渐变过程分析方法研究[D];山东大学;2014年

6 张峗宁;信息物理融合电力系统网络化控制研究[D];华中科技大学;2014年

7 耿光超;电力系统稳定约束最优潮流：模型、算法与并行化[D];浙江大学;2014年

中国硕士学位论文全文数据库 前10条

1 郭雷风;农业科研云原型系统设计与应用理论研究[D];中国农业科学院;2011年

2 丁黎;基于分类知识挖掘的雷电活动与地形关联性研究[D];华中科技大学;2011年

3 成勤;闪电参数查询系统设计与应用[D];南京信息工程大学;2012年

4 叶敏;虚拟化技术在高职院校的应用[D];浙江工业大学;2012年

5 徐婷婷;基于云计算的电力系统潮流分析[D];合肥工业大学;2012年

6 姚欢;考虑安全性和实时性的变电站通信系统研究[D];湖南大学;2011年

7 李晓强;智能电网云存储系统数据私密性问题研究[D];华北电力大学;2013年

8 肖凯;基于Hive架构的电力设备状态信息数据仓库的研究[D];华北电力大学;2013年

9 李江华;继电保护整定计算云数据中心的研究及应用[D];华北电力大学;2013年

10 湛维明;云计算环境下的发电优化调度并行算法研究[D];华北电力大学;2013年

【二级参考文献】

中国期刊全文数据库 前10条

1 孙雪;李昆仑;胡夕坤;赵瑞;;基于半监督K-means的K值全局寻优算法[J];北京交通大学学报;2009年06期

2 唐文忠;莫伟栋;;基于共享模型的工作流表单系统设计[J];北京航空航天大学学报;2008年04期

3 王燕;申元霞;陶春梅;;面向领域的数据驱动自主式知识获取模型及实现[J];重庆邮电大学学报(自然科学版);2009年04期

4 刘兴杰;米增强;杨奇逊;樊小伟;;一种基于EMD的短期风速多步预测方法[J];电工技术学报;2010年04期

5 郑伟;周喜超;王维洲;郑晶晶;;一种高性能的多级异构电能质量数据库同步方法[J];电力科学与工程;2010年10期

6 阙连元,叶世勋,丁剑明;开放式SCADA/EMS系统支持的在线负荷预测系统[J];电力系统自动化;1993年10期

7 张立华,徐文立,常成,冯大为;一种适用于微机保护的新的递推DFT算法[J];电力系统自动化;2000年05期

8 徐丙垠,李京,陈平,陈羽,董新洲,葛耀中,P.F.Gale;现代行波测距技术及其应用[J];电力系统自动化;2001年23期

9 苏文辉,李钢;一种能滤去衰减直流分量的改进全波傅氏算法[J];电力系统自动化;2002年23期

10 黄恺,孙苓生;继电保护傅氏算法中滤除直流分量的一种简便算法[J];电力系统自动化;2003年04期

，

本文编号：599795