基于Hadoop的设施蔬菜大数据分析

发布时间：2024-05-11 00:29

　　中国蔬菜产量世界第一,但降低生产成本、优化种植结构的压力巨大。物联网和大数据等技术的进步使的通过蔬菜大数据分析进行管理决策和指导生产成为可能。目前的蔬菜生产统计数据难以准确把握某一地区蔬菜生产的真实情况。由于种植户分散、数量多、规模不等、受教育程度不一,依靠种植户上报或者管理者采集生产数据几乎不现实。为此研发通过设施蔬菜智能运输车实时采集并上报蔬菜生产数据的数据,并代替人工蔬菜运输,可大大降低劳动强度、降低生产成本。通过蔬菜大数据的分析,有助于管理部门宏观调控和种植户蔬菜生产。该研究作为河北省蔬菜产业技术体系重点研发课题,主要研究设施蔬菜大数据平台建设与分析,具有重要实用价值。论文主要研究工作如下:1、设施并搭建了蔬菜大数据平台。分析了大数据平台建设相关技术,给出了Hadoop+HBase+Hive设施大数据平台建设方案,包括设施蔬菜大数据平台的处理方案、思路设计、结构设计以及环境实现。2、设施蔬菜大数据处理技术研究。首先,设计实现了基于设施蔬菜智能运输车的蔬菜数据采集系统,使用Socket技术实现了设施蔬菜大数据的采集。然后,基于大数据平台,使用Hadoop的MapReduce技术对...

【文章页数】：70 页

【学位级别】：硕士

【部分图文】：

图１．３技术路线图??Ｆｉｇ．?１．３?Ｔｅｃｈｎｏｌｏｇｙ?Ｒｏａｄｍａｐ??１．５论文结构??

?河北农业大学硕士学位（毕业）论文???开始???＿［?｝??数据采集????Ｉ?１???Ｈａｄｏｏｐ平台??ｉ，?］ｒ?．?Ｉ?￣￣?Ｉ??／种Ｓ？积丨丨品种数据丨Ｉ产量数据Ｉ?１销量数据丨Ｉ产值数据丨??Ｉ?数据！?ｉ?Ｉ?Ｉ?Ｉ?！?Ｉ?Ｉ?Ｉ??Ｉ??数据预测??Ｖ?Ｖ?....

图２．２?ＨＤＦＳ体系结构??Ｆｉｇ．２．２?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＤＦＳ??ＨＤＦＳ的读取策略为：??１．副本存放及读取策略??１２??

读写请求ＮａｍｅＮｏｄｅ?＾??块信息??＼、??／?、山?、＇??＾?、、，?、、??＼?客户知?）?Ｉ?ＤａｔａＮｏｄｅ?ＤａｔａＮｏｄｅ?！??＾读?备份Ｚ?＾?—?一机架２??……－－……．？一一＇”?‘—＾?／?／??｜?ＤａｔａＮｏｄｅ?ＤａｔａＮｏｄｅ?！?一?／?....

图２．４?Ｍａｐ?Ｒｅｄｕｃｅ工作流程??Ｆｉｇ．２．４?Ｗｏｒｋｆｌｏｗ?ｏｆ?Ｍａｐ?Ｒｅｄｕｃｅ??

：??ｉｎｐｕｔ?Ｓｐｌｉｔ??：？?与排序??一．？？?ｐａｒｔｉ?：?；????，，?＊＊?—?？＞：，＇?Ｒ＾ｃｌｙｃｅ＇??？■一?一一??，一?：ｐａｒｔ２?：?ｊ?ｍａｐ?－?一?一一一??Ｆ＂ｅ．?ｆｒ￥＾Ｍ??隨■、．?■?．圓、？??ｎｎ?？＇、、、??ｔ?二；....

图２．５?ＨＢａｓｅ系统架构??Ｆｉｇ．２．５?Ｓｙｓｔｅｍ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＨＢａｓｅ??

ＩＬｉ＾ｉＪＬｅ＾ｉＪ…ｊｌＬｉ＾ｌＪ?ｊ；：：．＿??．．ｒ?ｍ?、＼?？?ｆ?＇＇??ＬＵｖＵＪＪｔＵｉＸ丨）［）丨’丨丨丨又！?．ｇ＾ｇ？．：＂?ｓ）??二??§－?□□□〇］□□）（ｄａＤｄｂｏＪＩ?□□□□ｊａａ）（□□□ｄａＤ?｜（ｂａ＆ｓＱｎ＇??％?□□□□□□?....

本文编号：3969248