基于Python的生态监测物联网数据自动采汇中间件应用研究

发布时间：2021-06-07 16:11

　　针对生态监测物联网数据自动获取和采集过程中的应用需求,参考此前研发的相关子系统,分析了其原生的不足之处,用面向对象理念进行了全新设计,使其以多源异构数据自动采汇中间件的形式呈现,被后端的观测数据自动综汇平台调用。该中间件具有灵活的可扩展性,能够与不同厂商、不同来源的物联网数据采集设备协作,获取实时的多源异构监测数据,然后对数据进行归一化处理后,自动汇总存入监测数据库。该中间件运用模块化的软件工程理念设计,主要由数据自动获取模块、数据自动解析处理模块、数据自动入库模块这3部分组成,模块之间高内聚、低耦合,以数据流为纽带,紧密配合,完成整个监测数据流采集入库的全自动化处理流程。与原有子系统相比较,其具有更明确的模块划分、更高的灵活性和更好的可维护性。该中间件采用简洁高效的Python语言实现,完全采用面向对象编程思想,所有类的设计遵循单一职责原则,面向接口编程,保证了程序具备稳定的功能和灵活的扩展性。该中间件经过充分测试及几个月的试运行,能够满足现有生态监测物联网监测数据的自动获取、解析处理和入库的业务需求。对于野外地理环境和生态环境的监测,只要涉及类似的数据采集处理流程,本文设计和实现的... 

【文章来源】：遥感技术与应用. 2020,35(02)北大核心CSCD

【文章页数】：6 页

【部分图文】：

生态监测物联网的基本架构

数据自动获取模块的设计原理如图2所示，目前已经实现的3种数据获取方式如下所述。(1）第一种方式基于文件指针和轮询进程，主要是与厂商数据接收软件协作，共同完成监测数据的获取。这种方式主要是数采仪采集的各种类型的监测数据通过网络发送到指定的服务器，并被服务器上部署的厂商提供的数据接收软件定时接收到数据缓存池。此时数据自动获取模块的监控进程实时监控数据缓存池获取最新的监测数据。此前的异源WSN观测仪器归一化数据接口，通过Windows API的相关函数监控数据文件变化，并且获取到最新监测数据之后，把该数据写入命名管道，这个过程中需要创建命名管道，并且向该管道发送数据，这种操作比较繁琐，会影响监控模块的工作性能和稳定性。本文设计的基于文件指针和轮询进程相结合的方式获取到新的监测数据后，直接发送给后端的数据自动解析处理模块直接处理，这个过程中无需通信机制和数据缓存。

数据自动解析处理模块原理图

【参考文献】：
期刊论文
[1]生态系统关键参量监测设备研制与生态物联网示范[J]. 李新,刘绍民,孙晓敏,吴冬秀,周燕,郭建文,温学发,陈世苹,马明国,晋锐,赵宁.  生态学报. 2016(22)
[2]物联网技术在生态环境监测中的应用分析[J]. 李晓雪.  新技术新工艺. 2015(08)
[3]环境监测中物联网技术的应用[J]. 吴丹娜,江洪,张金梦,陈云飞,袁建.  安徽农业科学. 2014(10)
[4]异源WSN观测仪器归一化数据接口及自动入库系统的设计与实现[J]. 郭建文,常海龙,尚庆生.  遥感技术与应用. 2013(03)
[5]野外观测数据自动综汇系统方案设计[J]. 郭建文,尚庆生,常海龙,刘丰,李建轩,吴阿丹.  遥感技术与应用. 2013(03)
[6]基于Web的黑河流域生态水文WSN自动观测数据可视化系统应用研究[J]. 吴阿丹,郭建文,李建轩,尚庆生,常海龙,刘丰.  遥感技术与应用. 2013(03)
[7]基于物联网的洱海生态环境监测方法研究[J]. 罗桂兰,邓寿容,张梅,颜志武,包艳.  大理学院学报. 2013(04)
[8]黑河流域生态—水文过程综合遥感观测联合试验总体设计[J]. 李新,刘绍民,马明国,肖青,柳钦火,晋锐,车涛,王维真,祁元,李弘毅,朱高峰,郭建文,冉有华,闻建光,王树果.  地球科学进展. 2012(05)
[9]基于物联网技术的生态环境监测应用研究[J]. 王希杰.  传感器与微系统. 2011(07)
[10]物联网——后IP时代国家创新发展的重大战略机遇[J]. 陈锐.  中国科学院院刊. 2010(01)



本文编号：3216891