基于倒排索引的铁道供电集群监控H-CRQ技术

发布时间：2021-11-27 07:52

　　针对铁道供电监控海量数据查询响应越来越慢,易造成调度界面卡屏的问题,结合倒排二级索引和动态缓存机制,提出一种铁道供电综合监控海量数据的H-CRQ集群监控处理方法。将铁道供电监控系统数据结构改变为倒排索引结构,使查询直接作用在特定关键词的检索上,避免逐条扫描,并将索引查询结果储存于缓存中;然后设计一种H-CRQ更新替换缓存的结构,将热点数据驻留缓存,避免高重复度数据逐条扫描和反复搜索,进一步提高查询效率。以天水—兰州铁路10 kV供电监测系统的实测数据为算例,进行查询响应测试。结果表明:基于倒排索引的铁道供电集群监控H-CRQ技术可有效提高海量数据查询效率,且验证了新方法在缓存空间设置合理条件下,可解决铁道供电监控系统查询响应问题。 

【文章来源】：铁道学报. 2020,42(11)北大核心EICSCD

【文章页数】：9 页

【部分图文】：

铁路供电监控系统数据的采集

倒排索引的储存形式定义为关键词及它的位置、主行键Id,在查询时直接根据关键词检索,避免逐条查找数据。以铁道供电监测数据记录为例,描述倒排索引设计,见图2。包括数据主行键Id,铁道供电监控终端的采集时间Timestamp,归属站所Station,测控终端编号Rtu,采集对象标识Analogname以及采样值Analogvalue。如图2所示,铁道供电监测数据记录正序索引搜索关键词时需按搜索要求逐条索引对比,对关键词的搜索效率不高。重新构造的倒排索引,由监测信息表中关键词及其出现的位置组成,如关键词“站所443”,出现位置为“Id:1_Station”“Id:1_Rtu”“Id:2_Station”“Id:2_Rtu”,其中“Id:1_Station”代表关键词出现位置为主行键Id为1,列名为Station。这种倒排索引结构可直接根据关键词索引数据位置,通过二级索引快速定位目标数据。

在HBase数据库分布式存储的基础上,利用倒排索引设计一种铁路供电监测数据的二级索引方法,二级索引系统的读写访问架构见图3。以向铁路调度监测系统写入如图2所示的铁路供电监测数据为例,说明该架构实现二级索引的具体步骤,见图3。

【参考文献】：
期刊论文
[1]工业大数据分析技术的发展及其面临的挑战[J]. 何文韬,邵诚.  信息与控制. 2018(04)
[2]基于现场数据统计的计算机联锁设备寿命分析[J]. 张放,梁志国,朱晓琳,齐志华.  铁道学报. 2018(06)
[3]基于NoSQL数据库的空间大数据分布式存储策略[J]. 李绍俊,杨海军,黄耀欢,周芹.  武汉大学学报(信息科学版). 2017(02)
[4]内存计算技术研究综述[J]. 罗乐,刘轶,钱德沛.  软件学报. 2016(08)
[5]基于Hadoop的用电信息大数据计算服务及应用[J]. 王相伟,史玉良,张建林,梁波,程翠萍.  电网技术. 2015(11)
[6]一种基于朴素贝叶斯算法的OLAP缓存机制[J]. 满毅,章炯民,徐晓锦.  计算机工程与应用. 2017(06)
[7]基于PCM的大数据存储与管理研究综述[J]. 吴章玲,金培权,岳丽华,孟小峰.  计算机研究与发展. 2015(02)
[8]智能电网调度控制系统现状与技术展望[J]. 辛耀中,石俊杰,周京阳,高宗和,陶洪铸,尚学伟,翟明玉,郭建成,杨胜春,南贵林,刘金波.  电力系统自动化. 2015(01)
[9]大规模图像特征检索中查询结果的自适应过滤[J]. 艾列富,于俊清,管涛,何云峰.  计算机学报. 2015(01)
[10]采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案[J]. 曲广龙,杨洪耕,张逸.  电网技术. 2014(06)

硕士论文
[1]HBase分布式缓存策略的研究与设计[D]. 俞子波.北京交通大学 2017
[2]基于SCADA的铁路电力远动系统几个关键环节的设计与应用[D]. 方小飞.吉林大学 2014



本文编号：3521855