基于大数据的电子商务供求分析系统

发布时间：2017-10-29 12:17

  本文关键词：基于大数据的电子商务供求分析系统

  更多相关文章： 电子商务 大数据 HIVE HADOOP

【摘要】：电子商务平台中经常存在着供求差距,所谓供求差距是指商家(供给方)现有的商品不满足买家(需求方)的需求。在电子商务中,买家的购物需求往往蕴含在买家的购物行为中,例如以关键词搜索商品,在商品网页中点击价格、类别、运送时间要素等。如何从买家购物行为中分析出买家的需求,并提供给卖家作为供给的参考,从而解决买卖双方的供求差距,是电子商务需要解决的重要问题。针对上述问题,本文以国际著名的某电子商务公司(简称E公司)的实际项目为背景,针对如何分析在TB级用户行为数据的基础上得到热卖与非热卖的商品列表的实际需求,在对基于Hive的数据存储技术、基于规则的数据清洗技术、基于Map Reduce的供求关系分析建模技术等相关技术进行分析研究的基础上,设计并实现了一个基于大数据的电子商务供求分析系统,并通过在E公司的电子商务平台中对3TB实际数据的系统测试以及三个月的实际上线运行,对该系统的可行性和有效性进行了验证。本文的工作内容有以下几个方面:(1)针对电子商务平台大规模用户行为数据的提取与清理问题,对数据进行了ETL(Extract,transformation and load),提出了基于规则的数据清理以及基于HADOOP Hive数据仓库对数据进行存储和处理的方案,将数据整合为适合进行数据分析的形式,解决大规模数据量下对数据进行存储与处理的效率问题。(2)使用大规模行为数据对买家用户需求进行提取与归并。在T级别的数据量下,对用户搜索关键词和用户搜索行为进行处理,根据不同搜索行为下的用户需求进行归并,提取需求信息并对应到相应商品上。基于Hive设计并实现了针对此问题的UDF(User define function),对用户的搜索关键词进行处理,对用户的搜索行为进行分析,提取用户需求,完成对大规模用户行为数据的分析与处理。(3)根据用户需求与电子商务平台的整体供给,对供需关系进行建模。根据不同的业务需求,对不同的业务指标建立模型,在Hadoop Map Reduce下设计并实现,提供潜在热销产品的目录清单,满足了大规模数据量下回归分析的效率要求。
【关键词】：电子商务 大数据 HIVE HADOOP
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：F713.36;TP311.52
【目录】：

• 摘要6-8
• abstract8-13
• 1 绪论13-20
• 1.1 研究背景与意义13-14
• 1.2 国内外研究现状14-17
• 1.3 主要研究内容17-18
• 1.4 论文结构18-19
• 1.5 本章小结19-20
• 2 系统相关技术综述20-31
• 2.1 ETL技术分析与研究20-21
• 2.2 数据仓库与分布式系统分析与研究21-30
• 2.2.1 HDFS分布式文件系统22-25
• 2.2.2 Map Reduce并行计算框架25-28
• 2.2.3 HIVE数据仓库28-30
• 2.3 本章小结30-31
• 3 系统需求分析及架构设计31-42
• 3.1 业务分析31-35
• 3.1.1 买家购物流程32-34
• 3.1.2 买家购物行为数据模型34-35
• 3.2 系统需求分析35-38
• 3.2.1 功能性需求35-38
• 3.2.2 非功能性需求38
• 3.3 系统架构38-40
• 3.3.1 逻辑架构38-40
• 3.3.2 系统部署视图40
• 3.4 系统可行性分析40-41
• 3.5 本章小结41-42
• 4 核心功能模块的设计与实现42-66
• 4.1 数据ETL模块43-52
• 4.1.1 数据提取43-45
• 4.1.2 数据转换45-47
• 4.1.3 数据清洗47-51
• 4.1.4 数据装载51-52
• 4.2 供求数据处理模块52-59
• 4.3 供求模型分析模块59-65
• 4.3.1 供求关系数据模型59-62
• 4.3.2 供求关系建模与实现62-65
• 4.4 本章小结65-66
• 5 系统测试及应用66-76
• 5.1 系统测试66-73
• 5.1.1 功能测试66-69
• 5.1.2 性能测试69-73
• 5.2 系统应用73-75
• 5.2.1 应用概述73
• 5.2.2 运行实例73-74
• 5.2.3 应用效果及分析74-75
• 5.3 本章小结75-76
• 6 总结与展望76-77
• 6.1 总结76
• 6.2 展望76-77
• 参考文献77-80
• 致谢80-81
• 攻读学位期间发表的学术论文目录81

【相似文献】

中国期刊全文数据库 前2条

1 满福玺;;民族出版物市场供求分析[J];中央民族大学学报(哲学社会科学版);2008年05期

2 ;[J];;年期

中国重要会议论文全文数据库 前2条

1 ;商务部:2005年上半年主要商品供求分析[A];中国物流与采购联合会会员通讯总第74期—84期（2005年）[C];2005年

2 ;全国盐产品供求分析[A];中国纯碱工业发展战略研究[C];2004年

中国重要报纸全文数据库 前4条

1 本报通讯员 曲仁;曲阜人才市场第三季度人才供求分析[N];济宁日报;2009年

2 首席记者 侯冰冰;三季度人力资源市场供求分析和四季度预测发布[N];鞍山日报　;2011年

3 本报记者：李佳鹏 洛涛;六大城市土地供求分析与预测[N];经济参考报;2005年

4 本报记者 吕贤如;总体供不应求 结构缺口可观[N];光明日报;2001年

中国硕士学位论文全文数据库 前3条

1 赵升;基于大数据的电子商务供求分析系统[D];上海交通大学;2015年

2 贾巧莉;中国水果供求分析及预测[D];江南大学;2009年

3 张望;武汉城市圈耕地供求分析及占补平衡体系构建[D];华中农业大学;2013年

，

本文编号：1112948