基于InfluxDB的桥梁监测系统设计与实现
发布时间：2021-07-29 15:17
桥梁监测系统可以有效保障服役桥梁的安全性、耐久性和完整性。长期稳定的桥梁结构监测数据是桥梁监测系统安全运行的基础。由于监测数据的高采样频率的特性,导致现有的关系型数据库无法完成实时、高频、海量数据存储的任务。该文以赣江特大桥为监测对象,针对监测传感器数据中时间标签的唯一性,采用基于时序数据的InfluxDB数据存储引擎,为监控、统计、分析、告警和管理等提供数据访问服务,并在此基础上设计实现了一套桥梁监测系统。实践表明,该时序数据存储引擎能够提供海量的存储能力,同时兼顾极高的数据访问性能,为桥梁监测提供可行的数据存储方案。
【文章来源】：现代电子技术. 2020,43(16)北大核心
【文章页数】：5 页
【部分图文】：
监测系统硬件拓扑结构图
本系统采用开源的InfluxDB为数据存储引擎，其内置HTTP API，方便存储和检索，数据可以被标记，允许非常灵活的查询。数据应用服务主要包括实时数据服务、历史数据服务、故障诊断预警服务、设备管理服务，巡检管理服务、用户管理服务。其中，实时、历史数据由InfluxDB提供数据支持，故障诊断预警服务通过Kapacitor进行分析诊断，分布式消息系统Kafka负责数据消息分发。Kapacitor为传感器数据提供实时监控服务，使用Kapacitor处理实时数据，按照桥梁监测规范监测传感器数据[6]。Kapacitor是一个开源框架，用来处理、监控和警告时间序列数据，可以重复在InfluxDB中运行查询，然后在查询结果上分析数据，将分析结果发送给InfluxDB存储。同时，为了将告警消息及时传给用户，使用分布式消息系统Kafka将告警数据传给在线用户。2.2 TSM存储架构
InfluxDB的数据存储架构TSM(Timestamp Segments Merged）是在LSM(Log-Structured Merge）架构的基础上针对时序数据做了针对性的存储改进，LSM将数据保持在内存中，达到指定的大小限制后，将这些数据批量写入磁盘，读取需要合并磁盘与内存中的数据。所以写入性能大大提升，读取则需要访问较多的磁盘文件，LSM放弃了部分数据读能力，换取写入的最大化[7]。TSM为了优化LSM所存在的读取性能问题，基于时序数据的特点，优化读取写入的性能。TSM存储架构主要由Cache,Wal,TSM File,Compactor组成，其结构如图3所示。TSM存储结构中每一个分片（Share）都包含Cache,Wal,TSM File,Compactor四个部分。分片是为了通过时间快速定位要查询的数据，同时也可以通过分片批量删除数据。保留策略（Retention Policy,RP）中设置数据过期时间，数据过期时会批量删除指定时间分片的数据。
【参考文献】：
期刊论文
[1]基于数字测量技术的桥梁监测及预警系统[J]. 于承新,张国建,赵永谦,刘晓东,丁新华,赵同龙. 山东大学学报(工学版). 2020(01)
[2]流式大数据实时处理技术、平台及应用[J]. 陈纯. 大数据. 2017(04)
[3]基于内存数据库的索引算法研究[J]. 石磊,黄高攀,乔雄. 信息技术. 2016(11)
[4]B+树索引机制的研究及优化[J]. 施恩,顾大权,冯径,赵章明. 计算机应用研究. 2017(06)
[5]监测与监控技术在桥梁施工中的作用分析[J]. 王卫彪. 交通世界. 2016(01)
[6]无线传感器网络在桥梁健康监测中的应用[J]. 俞姝颖,吴小兵,陈贵海,戴海鹏,洪卫星. 软件学报. 2015(06)
[7]桥梁安全监测最新研究进展与思考[J]. 马宏伟,聂振华. 力学与实践. 2015(02)
硕士论文
[1]大规模集群状态时序数据采集、存储与分析[D]. 刘金.北京邮电大学 2018
本文编号：3309565
【文章来源】：现代电子技术. 2020,43(16)北大核心
【文章页数】：5 页
【部分图文】：
监测系统硬件拓扑结构图
本系统采用开源的InfluxDB为数据存储引擎，其内置HTTP API，方便存储和检索，数据可以被标记，允许非常灵活的查询。数据应用服务主要包括实时数据服务、历史数据服务、故障诊断预警服务、设备管理服务，巡检管理服务、用户管理服务。其中，实时、历史数据由InfluxDB提供数据支持，故障诊断预警服务通过Kapacitor进行分析诊断，分布式消息系统Kafka负责数据消息分发。Kapacitor为传感器数据提供实时监控服务，使用Kapacitor处理实时数据，按照桥梁监测规范监测传感器数据[6]。Kapacitor是一个开源框架，用来处理、监控和警告时间序列数据，可以重复在InfluxDB中运行查询，然后在查询结果上分析数据，将分析结果发送给InfluxDB存储。同时，为了将告警消息及时传给用户，使用分布式消息系统Kafka将告警数据传给在线用户。2.2 TSM存储架构
InfluxDB的数据存储架构TSM(Timestamp Segments Merged）是在LSM(Log-Structured Merge）架构的基础上针对时序数据做了针对性的存储改进，LSM将数据保持在内存中，达到指定的大小限制后，将这些数据批量写入磁盘，读取需要合并磁盘与内存中的数据。所以写入性能大大提升，读取则需要访问较多的磁盘文件，LSM放弃了部分数据读能力，换取写入的最大化[7]。TSM为了优化LSM所存在的读取性能问题，基于时序数据的特点，优化读取写入的性能。TSM存储架构主要由Cache,Wal,TSM File,Compactor组成，其结构如图3所示。TSM存储结构中每一个分片（Share）都包含Cache,Wal,TSM File,Compactor四个部分。分片是为了通过时间快速定位要查询的数据，同时也可以通过分片批量删除数据。保留策略（Retention Policy,RP）中设置数据过期时间，数据过期时会批量删除指定时间分片的数据。
【参考文献】：
期刊论文
[1]基于数字测量技术的桥梁监测及预警系统[J]. 于承新,张国建,赵永谦,刘晓东,丁新华,赵同龙. 山东大学学报(工学版). 2020(01)
[2]流式大数据实时处理技术、平台及应用[J]. 陈纯. 大数据. 2017(04)
[3]基于内存数据库的索引算法研究[J]. 石磊,黄高攀,乔雄. 信息技术. 2016(11)
[4]B+树索引机制的研究及优化[J]. 施恩,顾大权,冯径,赵章明. 计算机应用研究. 2017(06)
[5]监测与监控技术在桥梁施工中的作用分析[J]. 王卫彪. 交通世界. 2016(01)
[6]无线传感器网络在桥梁健康监测中的应用[J]. 俞姝颖,吴小兵,陈贵海,戴海鹏,洪卫星. 软件学报. 2015(06)
[7]桥梁安全监测最新研究进展与思考[J]. 马宏伟,聂振华. 力学与实践. 2015(02)
硕士论文
[1]大规模集群状态时序数据采集、存储与分析[D]. 刘金.北京邮电大学 2018
本文编号：3309565
本文链接：https://www.wllwen.com/kejilunwen/jiaotonggongchenglunwen/3309565.html
