基于Hadoop的全国零售户数据处理与市场感知

发布时间：2017-04-14 15:20

  本文关键词：基于Hadoop的全国零售户数据处理与市场感知，由笔耕文化传播整理发布。

【摘要】：随着近年来互联网的发展,促使了“互联网+”的兴起,烟草企业已经拥有了庞大的零售户信息数据。零售户在全国范围内的数量已经超过了800万家,每月都会产生大量订单信息,随着时间的推移,这个订单信息数据量已经达到TB级别。然而,企业最初搭建的硬件设备和软件不具有存储和处理这些数据的能力,因此导致有价值的信息无法提取出来,形成一个尴尬的局面。本文结合全国零售户不断剧增的信息数据与现有的大数据存储技术,提出了基于Hadoop的全国零售户订单数据分析系统的架构,详细分析了Hadoop集群节点存储性能和响应时间,实现了海量数据的存储与处理。基于ARIMA预测模型,建立了销售预测模型,并对该模型进行了验证,根据预测提出了基于预测的营销模式,还提出了对零售户终身价值的计算方式,为决策者提供对零售户的忠诚度提升策略。具体研究内容如下:1)根据全国零售户订单数据的性质,提出了一种基于Hive的数据存储模型,该模型是对海量数据进行分区管理,采用月单位划分数据分区表。采用该模型解决针对全国零售户订单数据的应用存储和负载均衡问题。2)探讨了对整个HDFS常用的数据处理办法,并根据存储数据的实际情况,提出了一个在异构集群下减少数据处理的响应时间的算法,该算法是分析集群性质和对集群处理数据的执行响应时间提出一种基于节点计算性能的数据分配策略。针对全国零售户数据,运用该分配策略建立一个数据处理模型,降低数据在网络上传输,防止数据拥塞,提供集群的时效性。3)企业具有敏锐的市场感知、把握市场动态和市场方向的能力,关键在于对大数据的挖掘。本文从市场感知和市场响应角度,在大数据的基础上,运用ARIMA销售预测模型来预测市场销售,并且提出了一种计算零售户市场价值、忠诚度的方法,缓解重要决策对个人经验的依赖,为品牌投放和市场响应提供了有效的信息支撑。4)基于Hadoop的数据存储技术建立了一个大数据处理平台,设计了一个以企业产生的零售数据为导向的数据存储的生态大循环、以战略为牵引的大数据平台中循环和以数据信息为核心的数据同步处理的内部3个生态小循环的三层生态循环系统架构。
【关键词】：大数据 数据模型 HDFS ARIMA预测模型 忠诚度
【学位授予单位】：浙江理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;F426.8
【目录】：

• 摘要4-5
• Abstract5-10
• 第一章 绪论10-16
• 1.1 研究背景、意义10-11
• 1.2 现状研究11-14
• 1.2.1 大数据研究现状11-12
• 1.2.2 大数据的应用12-13
• 1.2.3 大数据环境下终端营销13-14
• 1.4 研究内容14
• 1.5 本文组织结构14-16
• 第二章 基于Hadoop全国零售订单数据的分布式存储16-28
• 2.1 引言16
• 2.2 HDFS体系及数据存储16-20
• 2.2.1 分布式存储的体系结构研究16-18
• 2.2.2 文件的数据存储18-20
• 2.3 集群DataNode计算性能及其响应时间20-27
• 2.3.1 集群性质分析20-21
• 2.3.2 计算DataNode性能的算法研究21-23
• 2.3.3 实验结果分析23-27
• 2.4 本章小结27-28
• 第三章 数据同步加工处理28-40
• 3.1 引言28
• 3.2 数据同步加工28-32
• 3.2.1 数据采集模式28-30
• 3.2.2 数据同步要解决的问题30-31
• 3.2.3 分布式数据同步建模31-32
• 3.3 数据预处理32-36
• 3.3.1 数据质量32-33
• 3.3.2 数据清洗33-36
• 3.4 基于分布式的数据加工36-38
• 3.4.1 运用Hive的数据加工36-37
• 3.4.2 基于Hbase的结果数据处理37-38
• 3.5 本章小结38-40
• 第四章 基于零售订单数据的智能市场感知40-55
• 4.1 引言40
• 4.2 企业营销中市场预测模型40-41
• 4.3 市场销售预测模型41-46
• 4.3.1 时间序列分析41
• 4.3.2 ARIMA预测模型原理41-42
• 4.3.3 ARIMA销售预测模型构建42-46
• 4.4 市场预测与营销协作模式46-50
• 4.4.1 固有的企业营销模式46-47
• 4.4.2 影响投放策略的因素47-49
• 4.4.3 预测需求量模型制定49-50
• 4.5 零售户画像模型构建50-54
• 4.5.1 零售户终身价值计算51
• 4.5.2 零售户忠诚度预警模型51-53
• 4.5.3 零售户忠诚度提升策略53-54
• 4.6 本章小结54-55
• 第五章 全国零售户订单数据分析系统设计55-67
• 5.1 引言55
• 5.2 系统总体框架与思路55-59
• 5.2.1 系统体系架构55-58
• 5.2.2 系统技术架构58-59
• 5.3 基于Hadoop大数据平台建设59-63
• 5.3.1 基于Hadoop的大数据平台架构59-60
• 5.3.2 数据平台建设60-61
• 5.3.3 软硬件准备61-62
• 5.3.4 网络拓扑62-63
• 5.4 系统展示63-66
• 5.4.1 经营业态下的品牌分析63-64
• 5.4.2 零售户筛选分析64-65
• 5.4.4 零售忠诚度预警与提升65-66
• 5.5 本章总结66-67
• 第六章 总结与展望67-69
• 6.1 全文总结67-68
• 6.2 研究展望68-69
• 参考文献69-71
• 附录71-72
• 致谢72-73
• 攻读学位期间的研究成果73

【相似文献】

中国期刊全文数据库 前10条

1 王习涛;;ARIMA模型在期货交易预测中的应用研究[J];微计算机信息;2006年15期

2 张翼飞;陈洪;刘岭;张彦琦;郭波涛;易东;;ARIMA季节乘积模型在肠道传染病预测中的应用[J];激光杂志;2008年02期

3 蒋金良;林广明;;基于ARIMA模型的自动站风速预测[J];控制理论与应用;2008年02期

4 曹昱东;王浩;;基于ARIMA模型上海市生活垃圾的预测与分析[J];电子测试;2013年16期

5 吴u，

本文编号：306290