基于HIVE电子商务多维分析技术应用研究

发布时间：2017-08-31 10:20

  本文关键词：基于HIVE电子商务多维分析技术应用研究

  更多相关文章： 数据仓库 电子商务 Hive 多维分析 Hadoop

【摘要】：现如今是一个互联网迅速普及、电子商务飞速发展的大数据时代,数据的急速爆增已成为必然,企业能否有效利用海量数据成为提升企业竞争力的关键。 因为电子商务企业产生的经营数据要比传统商务更为完整,所以对电子商务的数据进行多维分析就更加有实际意义,从而能够满足企业对信息化、商业智能化等方面服务日益增长的需求。多维分析其本质意义就在于通过模仿用户多角度思考问题的模式来建立多维概念的视图或多维的数据模型。Hive是Hadoop分布式开源架构提供的一个数据仓库工具,并且Hive提供类似于SQL查询语句的HQL,通过将查询语句内部转换为MapReduce任务进行查询计算,因此借助MapReduce的高计算能力,Hive将非常适合用来做大数据的多维分析。 本文依托面向小微企业的进销存管理平台,结合企业经营的实际情况,通过对数据仓库、多维分析、Hive等相关技术的深入研究,利用Hive技术提出了电子商务多维分析技术的解决方案,并设计和完成了一个平台级分析系统模型。本文实现了在分布式环境下,基于Hadoop平台搭建了平台级Hive数据仓库,并利用HQL语句对平台产生的经营数据进行了多维分析；但由于Hadoop发展时间尚短缺乏可视化工具和OLAP工具,因此本文通过使用和修改Highcharts插件对结果进行可视化处理,并通过选择不同的维的方式,实现了地域、商品大类等维度上的切片、切块以及时间维上的上下钻取操作。
【关键词】：数据仓库 电子商务 Hive 多维分析 Hadoop
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13
【目录】：

• 摘要3-4
• Abstract4-8
• 1 绪论8-13
• 1.1 选题背景及研究的意义8-9
• 1.1.1 选题背景8-9
• 1.1.2 研究的意义9
• 1.2 数据仓库和多维分析国内外研究现状9-10
• 1.3 多维分析技术在大数据时代的新变化10-11
• 1.4 本文的研究内容和组织结构11-13
• 1.4.1 本文的研究内容11-12
• 1.4.2 本文的组织结构12-13
• 2 课题相关技术研究13-25
• 2.1 数据库13-14
• 2.1.1 数据库技术13
• 2.1.2 数据库的特点13-14
• 2.1.3 HBase分布式数据库14
• 2.2 数据仓库14-16
• 2.2.1 数据仓库技术14
• 2.2.2 数据仓库的特点14-15
• 2.2.3 Hive数据仓库及特点15-16
• 2.3 多维分析技术16-19
• 2.3.1 多维分析技术的概念和特点16
• 2.3.2 多维分析技术的逻辑概念16-17
• 2.3.3 多维分析技术的基本操作17-19
• 2.4 海量数据处理平台Hadoop19-21
• 2.4.1 Hadoop的概念及核心组成19-20
• 2.4.2 Hadoop的优点20
• 2.4.3 Sqoop数据迁移工具20-21
• 2.5 技术方案研究21-25
• 2.5.1 关键技术问题分析21-22
• 2.5.2 传统解决方案研究22
• 2.5.3 Hadoop+Hive技术22-23
• 2.5.4 Mondrian+Jpivot架构23
• 2.5.5 小结23-25
• 3 课题方案研究25-31
• 3.1 课题研究背景分析25-26
• 3.1.1 本课题项目背景分析25-26
• 3.1.2 本课题研究内容分析26
• 3.1.3 本课题研究方案分析26
• 3.2 课题研究方案设计26-31
• 3.2.1 数据仓库的设计26-30
• 3.2.2 实验方案设计30-31
• 4 课题的实现技术31-37
• 4.1 运行环境配置31-32
• 4.1.1 开发环境搭建31
• 4.1.2 运行环境配置31-32
• 4.2 系统功能实现32-37
• 4.2.1 数据加载32
• 4.2.2 数据清洗32-33
• 4.2.3 数据仓库的搭建33-34
• 4.2.4 分析查询34-36
• 4.2.5 分析结果的存入和读取36
• 4.2.6 前台展示36-37
• 5 实验结果分析37-44
• 5.1 销售37-42
• 5.1.1 销售分析37-39
• 5.1.2 商品对比39-40
• 5.1.3 商品分析40-42
• 5.1.4 销售分析小结42
• 5.2 企业42-44
• 5.2.1 企业分析42-43
• 5.2.2 企业排名43
• 5.2.3 企业分析小结43-44
• 6 总结与展望44-45
• 6.1 总结44
• 6.2 展望44-45
• 参考文献45-47
• 申请学位期间的研究成果及发表的学术论文47-48
• 致谢48

【参考文献】

中国期刊全文数据库 前10条

1 曹萍;;商务智能在电子商务中的应用研究[J];科技和产业;2009年05期

2 颜一鸣,张菁菁;建立数据仓库逻辑模型的方法[J];电脑知识与技术;2005年11期

3 刘洋;李攀;伍申申;;数据仓库展示工具JPivot的研究与应用[J];硅谷;2010年16期

4 刘永增;张晓景;李先毅;;基于Hadoop/Hive的web日志分析系统的设计[J];广西大学学报(自然科学版);2011年S1期

5 殷员分;张自力;蔡海敏;曾铮;;数据仓库与OLAP技术在高考志愿数据分析中的应用[J];计算机科学;2010年05期

6 杨胜,孙翱;OLAP技术的发展新动态[J];计算机应用与软件;2003年07期

7 陈南;;ASP.NET中大数据量分页技术的研究与实现[J];计算机应用与软件;2011年04期

8 唐萍;;分布式空间数据仓库的构建与OLAP服务实现[J];计算机与现代化;2010年05期

9 李勇;;浅谈OLAP技术在中小企业电子商务平台的应用[J];科技视界;2012年15期

10 聂瑞;卢建军;卫晨;;基于Hadoop平台的OLAP煤炭销售数据分析系统[J];工矿自动化;2012年11期

，

本文编号：765022