基于Hadoop的企业营销系统销售预测的研究与实现

发布时间：2017-05-13 20:13

  本文关键词：基于Hadoop的企业营销系统销售预测的研究与实现，，由笔耕文化传播整理发布。

【摘要】：随着近年来互联网的发展与其在企业中的应用,不仅加速了各个新兴产业的发展,也为各个企业带来了机遇与挑战。企业拥有大量的营销数据和客户信息,这些信息的累积并对其挖掘为企业提供了有效的营销途径。随着时间的推移,企业的营销数据日益庞大,已经达到TB级别。企业最初搭建的硬件设备和软件并不具有存储和处理海量数据的能力,这样会就导致有价值的信息无法提取出来。利用这些营销数据建立模型可以挖掘出企业经营关心的有用信息,企业再根据这些信息来制定营销策略。销售预测是根据历史销售情况推测未来,是企业确定生产量,保证商品供销平衡的工具,可以帮助企业做出正确的经营决策使其实现利润最大化。本文构建了基于Hadoop的企业营销系统,实现海量数据的存储、清洗和处理,并且研究了企业销售预测模型,在ARIMA模型和BP神经网络模型的基础上建立了组合预测模型,将其应用到企业营销系统中,为企业提供营销策略支持。具体研究内容如下:1)针对企业营销数据具有数据结构复杂,数据规模庞大,数据间关联性大等特点,提出了构建企业Hadoop数据处理平台,设计并实现了Map Reduce计算模型对关系型数据的并行计算,解决了企业对海量数据的分布式存储和处理的问题。2)由于企业营销数据来源多样,海量数据中存在很多缺失,错误,不一致和冗余数据,本文分析其产生原因和存在形式,设计了针对系统中“脏数据”的清洗方法,并对Bloom Filter算法进行改进,提出并实现了基于树形结构的Bloom Filter算法对重复数据进行清洗。3)为了进一步提高销售预测的精度,本系统集成了多个销售分析模型,并提出了基于ARIMA和BP神经网络模型的组合预测模型,并用MAE、RMSE和MAPE预测评价标准对组合预测模型与单一的ARIMA预测模型和BP神经网络模型的预测效果进行对比分析,证明组合预测模型优于单一模型。4)根据企业营销的实际情况,结合本文研究的销售预测模型,设计、实现并部署了基于Hadoop的企业营销系统,使企业销售分析不再依托于SAP或ERP系统,拥有专业的营销系统进行销售分析,为企业决策提供有效的信息支持。
【关键词】：数据挖掘 数据清洗 Hadoop MapReduce HDFS ARIMA预测模型 BP神经网络
【学位授予单位】：浙江理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要4-6
• Abstract6-11
• 第一章 绪论11-16
• 1.1 研究背景、意义11-12
• 1.2 研究现状12-14
• 1.2.1 Hadoop的研究现状12-13
• 1.2.2 海量数据存储的研究现状13
• 1.2.3 销售预测组合模型研究现状13-14
• 1.3 研究内容14-15
• 1.4 本文组织结构15-16
• 第二章 Hadoop技术架构研究16-26
• 2.1 Hadoop的组件和基本功能16-17
• 2.2 Hadoop分布式文件系统17-20
• 2.2.1 HDFS体系结构17-19
• 2.2.2 数据可靠性保证策略19-20
• 2.3 MapReduce并行计算框架20-24
• 2.3.1 MapReduce作业运行机制21-24
• 2.3.2 MapReduce容错机制24
• 2.4 Hadoop与关系型数据库协同工作的可行性分析24-25
• 2.5 本章小结25-26
• 第三章 海量数据的清洗与处理26-38
• 3.1 数据采集26
• 3.2 数据清洗26-33
• 3.2.1 数据清洗概述26-28
• 3.2.2 属性清洗方法28-29
• 3.2.3 基于树形结构的Bloom Filter的重复记录清洗29-33
• 3.3 Hadoop与关系数据库协作33-34
• 3.4 基于MapReduce编程模型的数据加工34-37
• 3.4.1 数据准备34-35
• 3.4.2 Map阶段数据处理过程35-36
• 3.4.3 Reduce阶段数据处理过程36-37
• 3.5 本章小结37-38
• 第四章 企业销售预测模型的研究与建立38-54
• 4.1 数据分析与模型选取38
• 4.2 ARIMA销售预测模型38-44
• 4.2.1 时间序列分析38-39
• 4.2.2 ARIMA模型概述39
• 4.2.3 建立基于ARIMA的销售预测模型39-44
• 4.3 基于人工神经网络的销售预测模型44-49
• 4.3.1 BP神经网络模型概述44-45
• 4.3.2 建立BP神经网络的销售预测模型45-49
• 4.4 组合预测模型49-51
• 4.4.1 单一模型在销售预测上的局限性49
• 4.4.2 基于ARIMA和BP神经网络的组合模型原理49-50
• 4.4.3 建立基于ARIMA和BP神经网络的组合预测模型50-51
• 4.5 预测结果对比及模型评价51-53
• 4.6 本章小结53-54
• 第五章 基于Hadoop的企业营销系统设计54-61
• 5.1 系统总体设计方案54-56
• 5.1.1 系统体系结构54-55
• 5.1.2 系统技术架构55-56
• 5.2 基于Hadoop的数据处理平台搭建56-58
• 5.2.1 拓扑结构56-57
• 5.2.2 环境搭建57-58
• 5.3 销售预测在系统中的实现58-60
• 5.4 本章总结60-61
• 第六章 总结与展望61-63
• 6.1 全文总结61-62
• 6.2 研究展望62-63
• 参考文献63-66
• 致谢66-67
• 攻读学位期间的研究成果67

【相似文献】

中国期刊全文数据库 前10条

1 李霞;;基于神经网络的销售预测研究[J];中国高新技术企业;2010年34期

2 刘德玲;;大区域内药品销售预测方法研究与仿真[J];计算机仿真;2012年07期

3 邰丽君;胡如夫;赵韩;陈曹维;;改进遗传神经网络算法在销售预测中的应用研究[J];现代图书情报技术;2012年01期

4 朱卫华,唐向宏,张福洪;小波分析在短期销售预测中的应用[J];杭州电子科技大学学报;2005年01期

5 王平,明哲,王艳红;汽车行业销售预测系统的分析、设计与实施[J];情报科学;2001年02期

6 凤德伟,张忠能,凌君逸;基于神经网络的短期销售预测[J];计算机工程;2004年S1期

7 闫博;李国和;黎旭;;基于ARMA的销售预测方法与系统实现[J];计算机与现代化;2014年05期

8 盛魁;;RBF神经网络在药品销售预测中的应用[J];长江大学学报(自科版);2013年19期

9 徐曦;遭遇无“沸点”的CRM市场[J];电子商务世界;2003年07期

10 木易;1994年美国多媒体出版物销售预测[J];出版参考;1994年18期

中国重要会议论文全文数据库 前1条

1 李弘;娄青;;销售预测审计量表开发和应用研究[A];中国市场学会2006年年会暨第四次全国会员代表大会论文集[C];2006年

中国重要报纸全文数据库 前6条

1 谢天武 编译;英国出版商尝试开发销售预测系统[N];中国图书商报;2006年

2 锦红;零售规划系统显威[N];中国商报;2001年

3 ;零售规划系统显威[N];中华工商时报;2000年

4 通讯员 胡芳;东航河北分公司各单位降本增效在行动[N];中国民航报;2009年

5 傅安国;新产品短命6个原因[N];市场报;2001年

6 本报记者 赵曦;“双11”临近 传统企业“触电”渠道融合[N];消费日报;2012年

中国硕士学位论文全文数据库 前10条

1 李巍巍;无偏灰色马尔科夫优化模型及其在商品销售预测中的应用[D];哈尔滨工业大学;2015年

2 石鹤群;面向产品生命周期的ARMA销售预测模型设计与实现[D];上海交通大学;2014年

3 高文兰;ISP亚太北区销售预测管理优化研究[D];华南理工大学;2015年

4 徐珏;基于Hadoop的企业营销系统销售预测的研究与实现[D];浙江理工大学;2016年

5 孙利辉;基于灰色理论的服装销售预测及库存优化研究[D];浙江理工大学;2016年

6 娄青;销售预测审计量表开发和应用研究[D];大连理工大学;2006年

7 奚伟;电磁阀及天然气控制系统的销售预测[D];上海交通大学;2013年

8 王刚;支持向量回归机在药品销售预测中的分析及应用[D];云南财经大学;2010年

9 宋英超;基于数据挖掘的销售预测决策支持系统研究[D];中国海洋大学;2005年

10 胡立磊;基于供应链的销售预测研究[D];江苏大学;2008年

  本文关键词：基于Hadoop的企业营销系统销售预测的研究与实现，由笔耕文化传播整理发布。

本文编号：363510