基于大数据的蔬菜水果价格信息监测分析系统研究

发布时间：2020-03-18 12:52

【摘要】：目前,我国农业生产存在农产品生产和市场脱节的严重问题,这主要是由农业决策者只凭臆测或使用决策精度不高的决策系统进行决策生产造成的。本文基于大数据以价格信息为主体,结合影响农产品价格的天气、产量等因素对农产品的价格影响因素、价格预测、区域分布、合理分配等内容进行了探讨,旨在寻找更适合我国农业生产决策的大数据分析处理流程,用大数据来尽可能提高农业生产决策的精度。本文依据现有大数据技术方法设计了价格信息监测分析流程,应用网络爬虫工具爬取各个农业网站上的农产品价格、产量等相关数据,并使用大数据思维对我国农产品价格等数据进行了分析处理。对原型系统进行设计,主要考虑传统技术在海量数据面前的局限性,应用了大数据相关技术克服了传统技术在海量数据存储与计算方面的不足。本文构建的大数据分析流程多采用开源架构实现,其中大数据采集选用了爬虫技术,大数据平台选用Hadoop。以HDFS、HBase和Hive作为存储系统,计算框架使用了MapReduce并行计算框架,并综合使用了包括Sqoop、Oozie、Elasticsearch等的技术来实现关系数据库到大数据平台的数据导入导出、自动化的数据采集存储流程以及建立全文索引。网络数据大多为文本类型的数据,需要对其数据进行结构化以方便后期的处理。首先,各农业网站的农产品和批发市场信息命名标准和规范都不一样,必须对其进行重新规范化。其次,各农业网站上的数据粒度不一样,需要对数据进行标准化。应用该大数据分析流程对蔬菜价格开展影响因素、价格趋势预测、空间区域特征以及分配方法分析。利用蔬菜价格影响因素分析获得影响价格的影响因素并抽取了具有代表性的天气、人均收入和喜好影响因素。然后利用这些影响因素构建了比较适合大数据场景的蔬菜价格预测分析流程。最后,利用该流程进行蔬菜价格趋势预测分析得到蔬菜的价格预测信息。利用空间位置信息进行蔬菜价格空间分布差异分析得出蔬菜的分配原点,再综合用户的喜好、区域性的需求和产量信息进行蔬菜配送方案分析得到分配的决策信息。利用大数据技术设计实现的农产品价格信息监测分析原型的正常运行证明了本文设计实现大数据分析流程可行。经过验证,利用该原型分析的结果比较切合实际,分析结果可信。
【图文】：

路线图,分析技术,路线图,农业

ulture Big Data Analysis1.3 论文结明选题背景和意义国内外研究现状，的发展现状。测分析系统的原型计。析处理，包括数据蔬菜价格监测分析章，是文章的总结

分析流程,农业,时空属性,农业产业化发展

署农业农村大数据发0 年时间，努力实现覆盖全面、业务协同面，黎玲萍、毛克彪农业数据时空属性的开源大数据挖掘技术东杰、李哲敏和张建范等方面提出促进农资源整合，提升现息化是农业现代化的来农业产业化发展、分析来完成[25]。农据分析的流程[26]，如
【学位授予单位】：长江大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;F323.7

【参考文献】