智能温室大数据集成体系架构研究

发布时间：2021-07-24 08:35

　　农业信息技术的迅速发展与应用,使得数据转变为一种基础资源,大数据也逐渐成为农业研究与应用的热点。尽管学术界对农业大数据问题已开展了多年的研究,但多源异构数据的集成问题依然是农业大数据面临的挑战之一,成为制约数据资源开发利用的瓶颈。应对智能温室大数据分析与精准控制的实际需求,将数据集成技术应用于智能温室系统领域,通过详细分析核心问题,提出大数据环境下的智能温室数据集成体系架构,探讨了多源数据接入、异常数据检测和信息资源编目等系统实施的技术要点,为从事相关领域工作的研究人员提供参考。 

【文章来源】：现代园艺. 2020,43(19)

【文章页数】：5 页

【部分图文】：

多源数据接入架构

鉴于图像、视频等富媒体数据的复杂性，需提供跨大数据集群和GPU集群的数据处理模型。大数据集群提供分布式的列式数据库、计算引擎和文件系统，用于承载图像、视频数据的存储和基于已有模型的在线目标识别分析。GPU集群提供Tensor Flow等深度学习框架，用于承载高性能计算建模。3 智能温室数据资源治理

3.2 异常数据检测架构结合大数据技术框架，对智能温室环境采集的流数据设计在线和离线2类异常数据检测流程。离线检测模式下，待检测数据经控制器汇聚到前置库，通过有线/无线传输方式导入到数据转换区，入库存储为原始集，通过在后台服务器端部署异常数据检测模型，并经过ETL流程后存储为标准集。在线检测模式下，待检测数据经由分布式消息总线解耦合后，接入流计算引擎实现在线分析入库。异常数据检测架构如图5所示。

【参考文献】：
期刊论文
[1]劣质数据上代价敏感决策树的建立[J]. 齐志鑫,王宏志,周雄,李建中,高宏.  软件学报. 2019(03)
[2]大数据管理系统的历史、现状与未来[J]. 杜小勇,卢卫,张峰.  软件学报. 2019(01)
[3]温室环境控制方法研究进展分析与展望[J]. 毛罕平,晋春,陈勇.  农业机械学报. 2018(02)
[4]基于农业物联网的农作物生长监测数据融合研究[J]. 黄海松,秦志远,张慧.  江苏农业科学. 2017(21)
[5]日光温室系统模型的研究现状与对策[J]. 杨学坤,韩柏和,蒋晓.  中国农机化学报. 2017(04)
[6]基于改进型支持度函数的畜禽养殖物联网数据融合方法[J]. 段青玲,肖晓琰,刘怡然,张璐,王康.  农业工程学报. 2017(S1)
[7]分布式多源农林物联网感知数据共享平台研发[J]. 陈栋,吴保国,陈天恩,董静.  农业工程学报. 2017(S1)
[8]基于关联数据的一致性和时效性清洗方法[J]. 杜岳峰,申德荣,聂铁铮,寇月,于戈.  计算机学报. 2017(01)
[9]一种基于数据质量的异构多源多模态感知数据获取方法[J]. 马茜,谷峪,张天成,于戈.  计算机学报. 2013(10)



本文编号：3300317