基于农经云数据库的食用菌电子商务订单资源整合系统设计

发布时间：2020-10-31 21:55

　　 利用贵州农经云大数据平台,设计了食用菌电商平台整合订单系统,实现了多电商平台多订单的整合、数据采集和订单统计等功能,可借助农经云的大数据管理平台实现多电商多订单的有效整合管理。
【部分图文】：

如图1所示，根据食用菌电商平台的订单整合业务需求及农村电商特点[5]，对平台采用分层模块化体系建设，整合订单系统采用松耦合的架构设计，各模块之间通过元数据的共享和交互，来驱动数据的存储与计算。实现大数据平台海量、多源、异构数据的采集、离线处理和实时计算等功能。系统总体架构由基础数据源层、数据采集层、数据存储层、计算层和应用层组成。各层间均采用模块化设计，通过数据接口来实现各模块和外部系统的集成。2 整合订单系统搭建

系统的订单数据主要来自多个电商平台的订单数据。订单数据采集主要分为实时数据采集和离线数据采集，其结构如图2所示。由图2可知，采集数据类型主要包括订单日志数据、用户订单行为数据、订单业务数据和订单状态数据。实时数据采集采用Flume+Kafka的模式，Flume安装在每个有日志产生的服务器上，监控相应的文件目录，当产生新日志时，Flume组件会自动捕获新文件，然后将文件输送到Kafka指定的主题中，完成实时数据的采集，后续将数据输送到农经云的HBase等No SQL数据库上或者接入流式处理框架，实现数据的实时查询或处理。离线数据采集则是通过各系统的数据接口获取相关数据，对数据进行处理后存储到农经云的关系型数据库（如Oracle、SQL Server数据库）中，最后通过Sqoop工具将其数据导入分布式文件系统当中。

实时数据采集所用的框架是Flume+Kafka，将产生的数据收集到Kafka队列中，然后同步到HDFS中。实时数据采集流程图如图3所示。由图3可知，Flume是一个分布式的海量日志聚合系统，支持在系统中定制各类数据发送方。本系统中，Flume负责监控整个文件目录或者某一个特定文件，产生新日志文件时，Flume获取到日志文件的数据，将数据封装为event对象。从scour中获取的数据会先封装为event，然后发送到channel,sink从channel拿event消费。在本系统中sink对象是Kafka，因此数据上传到了Kafka的topic分区。最后数据同步到HBase中，或者在框架后接入Storm等流式实时处理技术。
【参考文献】

相关期刊论文 前2条

1 史中良;彭佳红;;电子商务订单物流配送系统设计研究[J];电脑知识与技术;2015年30期

2 于聚然;于朝锋;;中国食用菌电子商务平台开发与设计[J];农业网络信息;2008年10期

【共引文献】

相关期刊论文 前1条

1 马海霞;白泰;;甘肃省马铃薯网络信息共享平台的构建[J];农业网络信息;2010年11期

【二级参考文献】

相关期刊论文 前8条

1 周文琼;;大数据环境下的电力客户服务数据分析系统[J];计算机系统应用;2015年04期

2 戢晓峰;普永明;梁斐雯;覃文文;;交通管制时限条件下城市物流配送优化双层规划模型[J];公路交通科技;2014年12期

3 孙迪;李沛鸿;;百度地图API在WebGIS中的应用[J];河南科技;2013年22期

4 蒋丽;丁斌;臧晓宁;;以工位为中心的生产物流配送优化[J];计算机集成制造系统;2009年11期

5 傅守亮;戚国强;孙振东;陈红伟;;乡(镇)级农业生资电子商务平台的设计[J];东北农业大学学报;2008年04期

6 朱兴荣;;新农村电子商务及实施模式的探索[J];科技情报开发与经济;2007年12期

7 邱阳;;义乌中小企业电子商务发展现状及对策浅析[J];甘肃农业;2006年12期

8 刘宇翔;基于数据挖掘技术的电子商务设计[J];太原科技;2005年05期

【相似文献】

相关期刊论文 前10条

1 王井乐;;基于大数据下主题数据库的研究现状与展望[J];中国新通信;2018年09期

2 彭乔;;大数据时代环境下数据库的发展趋势与影响[J];信息通信;2014年07期

3 金紫蘅;;论如何保护数据库[J];通讯世界;2015年23期

4 戴昀;;基于大数据背景的数据库技术应用现状与发展方向研究[J];数字技术与应用;2019年10期

5 蒋敏;周燕;乐思诗;贡金涛;张永春;;大数据时代中英文数据库收录情况分析[J];电脑编程技巧与维护;2015年16期

6 李战怀;王国仁;周傲英;;从数据库视角解读大数据的研究进展与趋势[J];计算机工程与科学;2013年10期

7 戚斌;;从数据库视角解读大数据研究进展与趋势[J];科技风;2018年13期

8 吴茵茵;;大数据时代如何提升数据库效能之我见[J];通讯世界;2017年11期

9 于翔;;数据库的安全重要性以及带来的风险[J];计算机产品与流通;2020年04期

10 陈晓;;从数据库视角解读大数据的研究进展与趋势[J];信息记录材料;2017年03期

相关博士学位论文 前10条

1 汤宏胜;激光诱导击穿光谱数据库和含能材料数据库的建立及应用[D];西北大学;2016年

2 刘然;负数据库生成算法及应用研究[D];中国科学技术大学;2013年

3 骆轶姝;数据库权益管理模式及应用研究[D];东华大学;2011年

4 强彦;数据库负载自适应技术研究[D];太原理工大学;2010年

5 颜焱锋;以鼠疫菌为模型的重要致病菌基因组多态性数据库的构建及应用研究[D];中国人民解放军军事医学科学院;2014年

6 邹磊;图数据库中的子图查询算法研究[D];华中科技大学;2009年

7 付戈;数据库动态恢复研究[D];华中科技大学;2011年

8 荆长伟;浙江省土壤数据库的建立与应用[D];浙江大学;2013年

9 刘艳艳;基于数据库集群的海洋环境数据优化存储与分布式管理[D];中国海洋大学;2008年

10 包亮;基于GIS/SOTER数据库的区域土地利用系统分析[D];中国农业大学;2003年

相关硕士学位论文 前10条

1 程文琛;独立于应用的数据库聚类技术研究[D];合肥工业大学;2013年

2 王鹏;论数据库权利的法律保护[D];河南大学;2009年

3 刘冬亮;我国数据库产业发展与战略研究[D];东北师范大学;2009年

4 魏晓;基于状态监测与故障诊断大型数据库的设计开发[D];大连理工大学;2006年

5 刘月兰;生物信息学数据库的设计与实现[D];黑龙江大学;2005年

6 李想;大规模图像质量评价数据库的建立和分析[D];上海交通大学;2019年

7 王家伟;肌萎缩侧索硬化数据库的建立与应用[D];广州中医药大学;2015年

8 汪伟;长江中下游通航要素信息数据库的研究[D];武汉理工大学;2011年

9 叶志坤;国产数据库应用增值平台研究与开发[D];华中科技大学;2004年

10 张跃宇;网管数据库灾难备份技术的研究[D];西安电子科技大学;2005年

本文编号：2864550