融合Spark的农业大数据处理与产量预测云平台的研发

发布时间：2024-04-15 00:09

　　近年来,随着计算机网络和物联网技术的普及应用和迅猛发展,我国农业与计算机技术的结合正在不断完善,其各个环节所产生的数据也在爆炸式增长。寻求有效的方法来分析和处理农业海量数据并从中获取有价值的信息,已经成为农业信息化发展的重要课题。我国的农业结构较为复杂,影响农作物产量的因素众多,涉及的领域也很广泛,这使得我国智慧农业平台迫切需要具备高效的农业大数据处理功能和产量预测功能。本文以江西省吉安市吉州区现代农业示范园为应用背景,研究了农业大数据处理的高可靠性和高效性,构建了结合全子集回归(Full Subset Regression,FSR)特征选择方法的人工神经网络(Artificial Neural Networks,ANN)产量预测模型,并详细分析了实际应用需求,设计了融合Spark的农业大数据处理与产量预测私有云平台。其中,农业大数据来源于农业示范园所采集的海量农作物生长环境数据,数据的分布式存储服务由闲置的计算机设备通过系统虚拟化并配置Hadoop集群来提供,分布式计算和数据管理服务由Spark、Hive等来提供,数据分析处理和农作物产量预测服务由Spark SQL、Spark ML...

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

图1-1智慧农业物联网基本框架

图1-1智慧农业物联网基本框架（1）感知层：主要负责农业园区各类农作物生产过程的各种数据的采集工作，通过各种传感器设备在农作物生长的温室大棚中采集相关环境数据包括温度、湿度、CO2浓度等，再利用ZigBee等信息传输协议和技术来实现数据的传输功能；同时有视频监控设备来采....

图2-1大数据云平台三层服务结构

7图2-1大数据云平台三层服务结构IaaS层：通过VMware等虚拟化软件来提供设备虚拟化服过配置Hadoop中的分布式文件系统HDFS来提供分布式功能。

图2-2所使用的Hadoop生态圈

图2-2所使用的Hadoop生态圈即Hadoop的分布式文件系统，它可以通过计算机网备上被多终端用户共享使用，并能统一管理多台设备的而言，使用HDFS仿佛像使用本地文件系统一般，由于

图2-3HDFS基本架构

图2-3HDFS基本架构Namenode的工作特点如下：（1）它一直将元数据存储在内存，以便于处理客户端的读操作请求；（2）当接收写操作请求时，它会先在磁盘中写操作日志文件，成功后改内存，最后返回给客户端；

本文编号：3955437