基于Hadoop的农业种植信息推荐系统的构建与研究
发布时间：2021-11-26 05:12
种植业作为我国农业产值最高的一部分,在整个农业的生产与发展中有着重要地位。针对我国提供农业信息的网站存在一定的信息冗余、专业性较差,并且信息提供不精准等实际问题,因此对农业种植信息构建一种推荐系统,提升用户获取种植信息的精准程度,有助于农户获取信息和种植业的生产效益提升。本文通过Hadoop等相关技术构建了一种农业种植信息推荐系统。通过对系统采用的技术和方法进行分析,设计了系统的总体架构。系统的构建过程主要围绕推荐模块与搜索模块进行,其中推荐模块是系统的核心模块。推荐模块的构建主要采用机器学习框架Mahout提供的基于项目的协同过滤算法。本文通过对农业种植信息推荐系统的构建与研究,主要有以下研究工作:1.通过对系统的需求与功能分析,采用Hadoop等工具提供的组件,完成了推荐系统实验研究环境的搭建和部署工作。2.通过对Mahout中推荐算法的分析,实现了基于项目的协同过滤算法的信息推荐,并在此过程中提出一种非线性关系的兴趣度计算方法。针对农业种植信息地域性和时间性较强的特征,设计了一种解决推荐系统冷启动的方法,主要通过HBase过滤器实现为用户提供与地域和时间相关的种植信息,从而有效提...
【文章来源】：华北水利水电大学河南省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
Hadoop生态系统说明图
华北水利水电大学硕士学位论文6务的运行，从而在总体上提升资源利用率。MapReduce、Strom、Spark等计算框架有着符合Yarn规范的资源请求机制，因此可以便捷的运行于Yarn上[45-46]。(3)分布式运算框架MapReduce。MapReduce是一种编程模型，提供了简便的并行程序计算方法，可将一个复杂的问题的处理方法抽象为Map和Reduce两个函数，通过这两个函数的单次或者多次运行最终实现问题的求解。求解过程中Map函数将输入的key/value键值对经过用户设定的聚集策略后产生聚集结果，将结果作为Reduce函数的参数进行合并计算后产生key/value结果。如果问题仍然需要计算，再次执行MapReduce操作[47-48]。MapReduce编程模型可以通过不断优化来符合应用服务的需要，提升大数据处理效率[49]。Hadoop的核心组件HDFS、Yarn与MapReduce之间逻辑关系如图2-2所示。图2-2Hadoop核心组件逻辑关系图Fig2-2ThegraphofLogicalrelationshipofcorecomponentsofHadoop2.2机器学习框架Mahout与推荐算法2.2.1机器学习框架MahoutApacheMahout是一种包含了聚类、分类、推荐、频繁挖掘模式在内的经典的机器学习算法的开源项目集合，在商业和学术中都有着众多的实例应用。用户可以直接使用已提供接口或者改进其提供的内容来实现应用程序的计算并产生结果。Mahout能够有效地进行并行数据处理，因此该框架可以运行在基于Hadoop的云平台中，采用MapReduce运算框架实现对经过处理的大量数据的分布式高效计算[50]。2.2.2Mahout推荐算法
erSimilarity联合使用。需要注意的是，该接口一般不在基于项目的协同过滤算法中使用。Recommender是推荐引擎进行推荐计算的接口，通过实例化对象获取推荐结果。在Java程序中，为它提供数据模型DataModel和相似度算法ItemSimilarity的实体对象，通过实现类它可以计算出对不同用户的推荐内容。实际应用中，通过继承的实现类GenericUserBasedRecommender和GenericItemBasedRecommender，分别实现基于用户的推荐引擎和基于项目的推荐引擎的构建。根据基于项目的协同过滤算法说明Mahout中Taste各种接口之间的关系如图2-3所示。图2-3Mahout推荐引擎接口关系图Fig2-3ThegraphofMahoutrecommendationengineinterfacerelationship
【参考文献】：
期刊论文
[1]关于大数据背景下农业经济供给侧结构优化管理研究[J]. 肇启江. 农民致富之友. 2019 (24)
[2]HDFS存储和优化技术研究综述[J]. 金国栋,卞昊穹,陈跃国,杜小勇. 软件学报. 2020(01)
[3]乡村振兴战略背景下提升农业信息化建设水平的研究[J]. 娄丽娜. 现代农业研究. 2019(05)
[4]中共中央 国务院关于坚持农业农村优先发展做好“三农”工作的若干意见[J]. 中国合作经济. 2019(02)
[5]农业信息化发展现状与对策研究[J]. 张宏伟. 今日农药. 2018(11)
[6]大数据时代特色农产品品牌竞争力评价[J]. 徐向龙,陈周庆. 华北水利水电大学学报(社会科学版). 2018(01)
[7]谈谈“推荐系统”和“搜索引擎”[J]. 陈运文. 计算机与网络. 2017(24)
[8]电子商务推荐系统应用与发展探析[J]. 汪琪,王召义. 河西学院学报. 2017(05)
[9]供给侧结构性改革背景下桑树种植企业改革实践[J]. 赵玉东. 华北水利水电大学学报(社会科学版). 2017(03)
[10]个性化推荐系统综述[J]. 刘辉,郭梦梦,潘伟强. 常州大学学报(自然科学版). 2017(03)
博士论文
[1]农业产业结构演进特征形成研究[D]. 韩玉萍.西南大学 2015
[2]基于MapReduce的大数据连接算法的设计与优化[D]. 张常淳.中国科学技术大学 2014
硕士论文
[1]农业大数据信息服务平台设计与实现[D]. 吕婧.兰州大学 2019
[2]电子商务中推荐系统的应用与设计[D]. 王渊.东南大学 2018
[3]农业科技服务云平台构建与农业时空推荐算法研究[D]. 陈程程.吉林农业大学 2017
[4]基于Web日志挖掘的农业信息个性化推荐系统研究[D]. 戴震.湖南农业大学 2016
[5]基于solr的搜索系统设计与实现[D]. 高玉民.华南理工大学 2015
[6]基于Hadoop平台和Mahout框架的推荐系统研究与实现[D]. 潘燕红.浙江大学 2015
[7]Hadoop YARN资源分配与调度的研究[D]. 李媛祯.南京航空航天大学 2015
本文编号：3519466
【文章来源】：华北水利水电大学河南省
【文章页数】：73 页
【学位级别】：硕士
【部分图文】：
Hadoop生态系统说明图
华北水利水电大学硕士学位论文6务的运行，从而在总体上提升资源利用率。MapReduce、Strom、Spark等计算框架有着符合Yarn规范的资源请求机制，因此可以便捷的运行于Yarn上[45-46]。(3)分布式运算框架MapReduce。MapReduce是一种编程模型，提供了简便的并行程序计算方法，可将一个复杂的问题的处理方法抽象为Map和Reduce两个函数，通过这两个函数的单次或者多次运行最终实现问题的求解。求解过程中Map函数将输入的key/value键值对经过用户设定的聚集策略后产生聚集结果，将结果作为Reduce函数的参数进行合并计算后产生key/value结果。如果问题仍然需要计算，再次执行MapReduce操作[47-48]。MapReduce编程模型可以通过不断优化来符合应用服务的需要，提升大数据处理效率[49]。Hadoop的核心组件HDFS、Yarn与MapReduce之间逻辑关系如图2-2所示。图2-2Hadoop核心组件逻辑关系图Fig2-2ThegraphofLogicalrelationshipofcorecomponentsofHadoop2.2机器学习框架Mahout与推荐算法2.2.1机器学习框架MahoutApacheMahout是一种包含了聚类、分类、推荐、频繁挖掘模式在内的经典的机器学习算法的开源项目集合，在商业和学术中都有着众多的实例应用。用户可以直接使用已提供接口或者改进其提供的内容来实现应用程序的计算并产生结果。Mahout能够有效地进行并行数据处理，因此该框架可以运行在基于Hadoop的云平台中，采用MapReduce运算框架实现对经过处理的大量数据的分布式高效计算[50]。2.2.2Mahout推荐算法
erSimilarity联合使用。需要注意的是，该接口一般不在基于项目的协同过滤算法中使用。Recommender是推荐引擎进行推荐计算的接口，通过实例化对象获取推荐结果。在Java程序中，为它提供数据模型DataModel和相似度算法ItemSimilarity的实体对象，通过实现类它可以计算出对不同用户的推荐内容。实际应用中，通过继承的实现类GenericUserBasedRecommender和GenericItemBasedRecommender，分别实现基于用户的推荐引擎和基于项目的推荐引擎的构建。根据基于项目的协同过滤算法说明Mahout中Taste各种接口之间的关系如图2-3所示。图2-3Mahout推荐引擎接口关系图Fig2-3ThegraphofMahoutrecommendationengineinterfacerelationship
【参考文献】：
期刊论文
[1]关于大数据背景下农业经济供给侧结构优化管理研究[J]. 肇启江. 农民致富之友. 2019 (24)
[2]HDFS存储和优化技术研究综述[J]. 金国栋,卞昊穹,陈跃国,杜小勇. 软件学报. 2020(01)
[3]乡村振兴战略背景下提升农业信息化建设水平的研究[J]. 娄丽娜. 现代农业研究. 2019(05)
[4]中共中央 国务院关于坚持农业农村优先发展做好“三农”工作的若干意见[J]. 中国合作经济. 2019(02)
[5]农业信息化发展现状与对策研究[J]. 张宏伟. 今日农药. 2018(11)
[6]大数据时代特色农产品品牌竞争力评价[J]. 徐向龙,陈周庆. 华北水利水电大学学报(社会科学版). 2018(01)
[7]谈谈“推荐系统”和“搜索引擎”[J]. 陈运文. 计算机与网络. 2017(24)
[8]电子商务推荐系统应用与发展探析[J]. 汪琪,王召义. 河西学院学报. 2017(05)
[9]供给侧结构性改革背景下桑树种植企业改革实践[J]. 赵玉东. 华北水利水电大学学报(社会科学版). 2017(03)
[10]个性化推荐系统综述[J]. 刘辉,郭梦梦,潘伟强. 常州大学学报(自然科学版). 2017(03)
博士论文
[1]农业产业结构演进特征形成研究[D]. 韩玉萍.西南大学 2015
[2]基于MapReduce的大数据连接算法的设计与优化[D]. 张常淳.中国科学技术大学 2014
硕士论文
[1]农业大数据信息服务平台设计与实现[D]. 吕婧.兰州大学 2019
[2]电子商务中推荐系统的应用与设计[D]. 王渊.东南大学 2018
[3]农业科技服务云平台构建与农业时空推荐算法研究[D]. 陈程程.吉林农业大学 2017
[4]基于Web日志挖掘的农业信息个性化推荐系统研究[D]. 戴震.湖南农业大学 2016
[5]基于solr的搜索系统设计与实现[D]. 高玉民.华南理工大学 2015
[6]基于Hadoop平台和Mahout框架的推荐系统研究与实现[D]. 潘燕红.浙江大学 2015
[7]Hadoop YARN资源分配与调度的研究[D]. 李媛祯.南京航空航天大学 2015
本文编号：3519466
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3519466.html
最近更新
教材专著
