大数据环境下农产品电商平台智能推荐技术的研究与应用

发布时间：2020-03-22 04:16

【摘要】：随着大数据处理技术与农产品电子商务平台的兴起,农产品销售的品种和渠道越来越多样化,农产品电商平台销售数据呈现海量多变等特点,然而大多数农产品在电商平台中并不热门,导致用户无法第一时间准确找到适合自己的商品,因此,农产品电商平台智能推荐方法成为高效满足个性化需求的重要手段。针对传统推荐方法存在耗时长、效率低的问题,本文提出了基于大数据处理技术的农产品电商平台智能推荐方法的研究,为农产品电商平台上商家的精准销售与用户的个性化消费提供智能决策依据。主要研究内容如下:(1)提出了基于Spark平台的农业大数据处理方法。首先搭建Spark流式计算平台,通过对Hadoop与Spark大数据处理平台性能对比实验分析,在处理相同大数据量的条件下,Spark平台比Hadoop平台的计算结果更加快速和准确。验证结果表明:Spark平台更适合进行农业大数据的有效处理,确定Spark平台处理农业大数据方法,进行下一步研究。(2)进行了基于主题加权融合协同过滤算法的农产品智能推荐方法研究。首先将文档主题算法与矩阵分解算法混合,形成文档主题与矩阵分解混合算法;然后将基于物品的协同过滤算法和文档主题与矩阵分解混合算法进行加权融合,形成主题加权融合协同过滤算法,并进行了农产品智能推荐方法的验证。实验结果表明:主题加权融合协同过滤农产品混合推荐算法较好地刻画了农产品之间的关联度,为农产品相似度计算提供良好的技术支撑。依据准确率、多样性和RMSE三个测评标准,验证了基于主题加权融合协同过滤算法的农产品智能推荐方法较单一推荐算法更具优势,可为农产品智能推荐系统提供可靠的技术保障。(3)设计与开发了基于Spark平台的农产品智能推荐系统。将上述研究成果集成在Spark流式计算平台上,构建具有农产品查询、智能推荐、农产品管理和用户管理四大功能模块的基于Spark平台的农产品智能推荐系统。农产品查询模块实现了用户行为数据集分析处理功能;智能推荐模块提供了多种智能推荐方法校验功能;农产品管理模块实现了农产品评价主题模型构建与销售走势动态分析功能;用户管理模块确保了对用户农产品购买行为信息的完全收录与及时更新。该系统实现了农产品销售和购买行为匹配效率与准确度的有效提升,为农产品电商平台智能推荐提供了良好依据。本文利用多种大数据技术分析农产品电商平台用户的行为特征,为用户推荐感兴趣的商品,为商家拓宽销路,大大增加了农产品售出几率,降低其运营成本,为解决农产品的买难卖难问题提供解决方案,为国民经济水平的提高提供了有力支撑。
【图文】：

台对比实验安装配置好后，对比 Hadoop 与 Spark 平台性能差异，进行处理海量数据效率测试。通过实验数据处理验证 Spark 平台的可行性。验数据来源于坐落在吉林省农安县开安镇、合隆镇陈家店村的七个实时数农业实时监测网，利用无线传感网络进行作物生产环境信息监测与采集，大数据的实时处理与分析，从 2015-2017 年农安县智能监测网的 2.3 亿条数据中抽取 5 组分别为 1 万条、10 万条、100 万条、1000 万条、1 亿条数归时间对比，效率测试结果见表 3-1、如图 3.2 所示。表 3-1 Hadoop 与 Spark 运行时间对比Table 3-1 Comparison between Hadoop and Spark’s runtime计算框架数据量1 万条（10K）10 万条(1*10^2K）100 万条（1*10^3K）1000 万条（1*10^4K）1 亿条（1*10^Hadoop 8 17 27 255 175Spark 10 11 15 27 154 2-1 中数字为运行时间，单位为秒。图 4 中“K”代表“千条”。

图 3.1 Spark shell 启动界面Fig. 3.1 Startup interface diagram of Spark shell台对比实验境安装配置好后，对比 Hadoop 与 Spark 平台性能差异，进行处理海量数据间效率测试。通过实验数据处理验证 Spark 平台的可行性。实验数据来源于坐落在吉林省农安县开安镇、合隆镇陈家店村的七个实时数慧农业实时监测网，利用无线传感网络进行作物生产环境信息监测与采集，业大数据的实时处理与分析，从 2015-2017 年农安县智能监测网的 2.3 亿条度数据中抽取 5 组分别为 1 万条、10 万条、100 万条、1000 万条、1 亿条数回归时间对比，效率测试结果见表 3-1、如图 3.2 所示。表 3-1 Hadoop 与 Spark 运行时间对比Table 3-1 Comparison between Hadoop and Spark’s runtime计算框架数据量1 万条（10K）10 万条(1*10^2K）100 万条（1*10^3K）1000 万条（1*10^4K）1 亿条（1*10^Hadoop 8 17 27 255 175
【学位授予单位】：吉林农业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F323.7;F724.6;TP391.3;TP311.13

【相似文献】

相关期刊论文 前10条

1 蒲实;郭晓鸣;;影响农产品价格的新因素不容忽视[J];财经政法资讯;2011年02期

2 张敏;;我国如何应对外国农产品的倾销[J];武汉电力职业技术学院学报;2006年04期

3 邢孔文;;基于西方经济学原理分析农产品价格变化及其市场策略[J];乡村科技;2019年33期

4 师文丽;;改革开放四十年山东农产品价格变化历程[J];山东经济战略研究;2018年10期

5 张猫猫;;国际油价影响对我国农产品价格的影响研究[J];价格理论与实践;2019年03期

6 胡西娟;杨建飞;徐建卫;;当前我国农产品价格普遍上涨的理论研究与实证探索[J];价格月刊;2019年08期

7 汤芬芬;;农产品拍卖存在的问题及对策[J];农村经济与科技;2019年19期

8 庞金波;李宗瑛;;农业价值链融资模式研究——基于农产品价格保险视角[J];农村金融研究;2017年11期

9 雷颖颐;;健全农产品价格法律制度的思考[J];法制博览;2018年03期

10 陈王生;;农产品价格因素对农民收入的影响相关性分析[J];南方农机;2018年03期

相关会议论文 前10条

1 ;全国农产品价格监测预测系统[A];中国畜牧兽医学会信息技术分会第十届学术研讨会论文集[C];2015年

2 刘向东;;2010年农产品价格高涨背后的原因及其影响[A];中国经济分析与展望（2010-2011）[C];2011年

3 温铁军;董筱丹;王位山;;农产品价格上涨的宏观影响[A];纪念农村改革30周年学术论文集[C];2008年

4 方志权;;上海农资、农产品价格与农民收益关联度研究[A];第二届湖湘三农论坛论文集[C];2009年

5 钱克明;;充分发挥农产品价格政策在统筹城乡发展中的调节作用[A];加大城乡统筹力度 协调推进工业化、城镇化与农业农村现代化[C];2010年

6 宋国青;;农产品价格与通货膨胀[A];2008年夏季CCER中国经济观察（总第14期）[C];2008年

7 张峭;;农产品价格保险产品的设计及风险分散[A];第十届中国期货分析师暨场外衍生品论坛论文集[C];2016年

8 宋姗姗;;三大央行未出台宽松政策,基本面继续主导农产品价格走势[A];《IMI研究动态》2012年合辑[C];2012年

9 宋姗姗;;澳洲央行与日本央行保持利率不变,基本面主导农产品价格走势[A];《IMI研究动态》2012年合辑[C];2012年

10 徐波;纪树东;李青;;农产品价格上涨对通货膨胀的影响——基于CGE模型的分析[A];第九届中国软科学学术年会论文集（上册）[C];2013年

相关重要报纸文章 前10条

1 余雷;钾肥涨势难延续[N];中国化工报;2013年

2 周和平;粮价走低，，化肥市场遭殃[N];中国化工报;2015年

3 本报见习记者 郭勉愈;中国农产品定价权受威胁[N];科学时报;2011年

4 惠铭生;惹祸的猪能不能管住CPI[N];中国青年报;2011年

5 余雷;钾肥后市危机四伏[N];中国化工报;2015年

6 余雷;化肥市场新危机来临[N];中国化工报;2015年

7 杨益军;明年全国农资支出将下降[N];中国化工报;2015年

8 记者 乔金亮;今年农产品价格涨幅有望回落[N];经济日报;2020年

9 本报记者 潘宇静;农业农村部：今年农产品价格涨幅有望回落[N];中国证券报;2020年

10 湖南农业大学商学院副院长、教授、博士生导师 湖南乡村振兴战略研究院、湖南省涉农企业发展研究中心研究员 莫鸣;创响特色农产品品牌 引领乡村产业发展[N];湖南日报;2020年

相关博士学位论文 前10条

1 刘乔;农产品冷链质量安全风险管理研究[D];哈尔滨理工大学;2018年

2 于延良;基于空间视角的我国农产品电商发展机制研究[D];吉林大学;2018年

3 祁民;国际视野下的农产品价格风险管理研究[D];华东师范大学;2008年

4 胡天石;中国农产品电子商务模式研究[D];中国农业科学院;2005年

5 王和仲;农产品法律问题研究[D];西南政法大学;2005年

6 孟凡胜;中国农产品现代物流发展问题研究[D];东北农业大学;2005年

7 杨万江;安全农产品生产经济效益研究[D];浙江大学;2006年

8 贺峰;中国农产品现代物流问题研究[D];华中农业大学;2006年

9 鹿永华;提高我国优势农产品国际竞争力的研究[D];中国农业科学院;2005年

10 冯忠泽;中国农产品质量安全市场准入机制研究[D];中国农业科学院;2007年

相关硕士学位论文 前10条

1 彭依依;消费扶贫战略下特色农产品助力扶贫的问题分析与政府引导策略研究[D];南昌大学;2019年

2 梁洁;LS县农产品质量安全监管问题的研究[D];南京航空航天大学;2018年

3 陈广福;XYZ农产品股份有限公司的战略转型研究[D];北京理工大学;2017年

4 范志方;贵州生态农产品与电商精准扶贫耦合机制构建[D];贵州财经大学;2019年

5 刘宇峰;基于智能推荐与物流规划的农产品微电商平台的研究与设计[D];大连海洋大学;2019年

6 傅思维;大数据环境下农产品电商平台智能推荐技术的研究与应用[D];吉林农业大学;2019年

7 高欣然;国际原油价格对中国农产品价格的溢出效应分析[D];中国石油大学(北京);2018年

8 洪丽丹;凉山州特色农产品网络营销策略分析[D];四川农业大学;2017年

9 陈国豪;广州市P区国家农产品质量安全县建设中的政府行为研究[D];华南理工大学;2019年

10 雷洁;两岸农产品经贸往来研究[D];华侨大学;2019年

本文编号：2594465