基于hadoop的农业电子商务数据平台构建关键技术研究

发布时间：2017-06-09 08:14

  本文关键词：基于hadoop的农业电子商务数据平台构建关键技术研究，由笔耕文化传播整理发布。

【摘要】：当前农业信息化进程中,农业电子商务发展尤为迅速,越来越多的用户通过农业电子商务网站来购买农产品,农业电子商务网站中农产品、物流、用户数据的积累越来越多。这些数据是分布在不同的主机,不同的终端,如何采集,存储这些数据,为农业电子商务网站发展做数据支撑,成为很多农业电子商务网站待以解决的问题。大数据技术的飞速进步,带来了重构数据平台的新技术,基于hadoop的大数据技术能够很好的满足农业电子商务数据平台现有的需求,本文研究hadoop相关技术在农业电子商务中的落地实现,阐述其基本原理,使用hadoop相关技术采集和存储数据,通过该论文可以使农业电子商务相关行业人员迅速理解hadoop,了解hadoop相关技术的使用,快速搭建基于hadoop集群环境,构建基于hadoop的农业电子商务数据平台。本文的主要研究内容和创新点如下：1.针对农业电子商务的数据平台存在的相关问题进行研究,提出了一种针对海量数据处理业务的分布式数据采集、存储平台。可以解决原有的数据平台大数据采集和存储问题。2.考虑到hadoop平台的搭建步骤较多且具有一定难度,本文详细介绍了hadoop数据平台的搭建过程,为农业电子商务网站实现hadoop平台做参考,也通过部署过程加深对hadoop平台的了解。3、对农业电子商务数据采集技术的特点和难点进行了详细分析,包括分布式、高动态性、采集终端多样性等,针对这些数据采集难点,引入flume、sqoop数据采集工具,保证数据的可靠性采集。4、针对农业电子商务网站日益增长的离线和在线数据存储问题,引入hdfs分布式文件系统、和hbase非关系型数据库,解决对农业电子商务多类型,多业务数据的存储容灾、冗余备份等问题。
【关键词】：hadoop 农业电子商务 数据平台
【学位授予单位】：华中师范大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;F724.6
【目录】：

• 摘要6-7
• Abstract7-10
• 第一章 绪论10-12
• 1.1 研究背景10
• 1.2 研究的目的和意义10-11
• 1.3 主要研究内容和创新点11-12
• 第二章 基于hadoop的农业电子商务数据平台构建需求分析12-16
• 2.1 传统农业电子商务数据平台不足12-13
• 2.1.1 单机环境能力有限问题12
• 2.1.2 数据可靠采集问题12
• 2.1.3 数据存储能力不足问题12-13
• 2.2 使用hadoop平台搭建数据平台的必要性13-14
• 2.3 基于hadoop农业电子商务数据平台的关键解决技术14-16
• 2.3.1 高可靠分布式集群环境部署14
• 2.3.2 分布式多类型数据采集14-15
• 2.3.3 基于分布式的数据存储15-16
• 第三章 Hadoop平台概述16-22
• 3.1 Hadoop平台核心框架简介16-19
• 3.1.1 数据存储框架-hdfs16-17
• 3.1.2 资源管理调度系统-yarn17-18
• 3.1.3 分布式计算框架--MapReducer18-19
• 3.2 Hadoop平台常用组件介绍19-22
• 3.2.1 数据库组件-hbase19-20
• 3.2.2 程序协调服务-zookeeper20
• 3.2.3 数据采集组件-Flume20-21
• 3.2.4 数据仓库组件-hive21-22
• 第四章 电子商务数据平台部署技术22-28
• 6.1 安装环境准备22-24
• 6.1.1 集群规划22
• 6.1.2 集群环境准备22-24
• 6.2 安装ZooKeeper24
• 6.3 安装配置hadoop集群24-26
• 6.4 Hbase集群安装26-28
• 第五章 数据平台数据采集技术28-33
• 5.1 农业电子商务平台数据分类28
• 5.2 农业电子商务数据平台数据采集问题28
• 5.3 平台非结构化数据采集28-31
• 5.3.1 Flume原理29-30
• 5.3.2 Flume采集农业电子商务网站日志数据30-31
• 5.4 平台结构化数据采集31-33
• 5.4.1 Sqoop原理31-32
• 5.3.2 Sqoop采集农产品库数据32-33
• 第六章 数据平台数据存储技术33-39
• 6.1 数据平台数据存储问题33
• 6.2 HDFS存储农业电子商务离线数据33-36
• 6.2.1 HDFS数据存储33-34
• 6.2.2 HDFS离线数据存储34-36
• 6.3 Hbase实时存储农业电子商务在线数据36-39
• 6.3.1 Hbase原理36-37
• 6.3.2 Hbase实时存储数据37-39
• 结语39-40
• 参考文献40-42
• 致谢42-43
• 附录43-46

【参考文献】

中国期刊全文数据库 前2条

1 陈俊;陈孝威;;基于Hadoop建立云计算系统[J];贵州大学学报(自然科学版);2011年03期

2 孙忠富;杜克明;郑飞翔;尹首一;;大数据在智慧农业中研究与应用展望[J];中国农业科技导报;2013年06期

  本文关键词：基于hadoop的农业电子商务数据平台构建关键技术研究，，由笔耕文化传播整理发布。

本文编号：434860