基于大数据的全业务积分系统及精准营销技术研发
发布时间：2020-05-30 14:01
【摘要】：在国家实施国企改革“不断增强国有经济活力、控制力、影响力”的总体目标下,电信运营商积极探索市场化改革,进行“划小承包”,增强对一线员工的激励,激发一线员工为客户提供更好更优质的服务,实现员工、企业和社会共赢的局面。目前管理上唯KPI化,导致一线员工为了完成KPI而被动工作,而存量客户维系和新用户的发展不能很好的协同。同时在员工激励上不透明不及时,员工的积极性不能得到及时的激励。在营销工具和手段上,一线客户经理缺少精准营销的工具,采取人海战术对客户进行轮番营销,费时费力,形成目前营销高成本低效率的局面。为解决目前运营商存在的上述问题,运营商启动积分系统的建设。建设的主要内容和功能包括四个子系统:系统管理子系统、数据ETL子系统、积分子系统和精准营销子系统。其中系统管理子系统主要提供系统的基础功能,为系统提供分权分域的权限控制,确保系统和数据的安全;数据ETL子系统主要基于Kettle实现数据采集、转换和加载,实现多个异构系统数据的接入和集成,并对数据采集的过程进行监测,确保数据采集的及时性、完整性和稳定性;积分子系统采用数据仓库技术,建立积分规则模型,支撑积分计算规则灵活可配置,快速响应市场营销政策的调整,实现和支撑了对运营商在公司层面全业务积分、收入和发展情况的多维度的可视化分析和探索;精准营销子系统采用大数据技术,在原始特征的基础上进行客户特征的丰富和拓展,为一线销售人员提供一个完整鲜活的客户画像,采用本论文提炼的基于客户细分的协同过滤计算模式,实现个性化的商机推荐,并且通过对营销单的闭环管控,实现人机协作一体化的信息反馈和计算模型的不断优化。本论文采用大数据、数据仓库、机器学习和可视化技术等技术,设计了积分规则模型、数据仓库三层模型和客户画像特征体系,并实现了全业务积分计算和责任田计算。同时本论文提出了基于客户细分的随机森林-协同推荐算法。该算法经实验验证比普通协同过滤算法效率更高,以更小的K值达到最高的准确率,从而减少运算量和提升计算性能。论文的主要贡献包括:1)以责任田为基础,将积分应用于运营商内部的客户经理业绩考核,统筹协同业务发展和存量经营,有效支撑运营商的市场运营管理;2)在计算模式方面,充分结合客户画像特征和客户订购行为各自优势,“动”“静”结合,提炼出基于客户细分的协同过滤的计算模式;3)在客户画像上采用机器学习、统计和逻辑推理多种手段,进行客户特征的衍生;4)在系统工程方面,充分利用运营商线下营销能力,商机计算作为精准营销闭环管控的一环,实现了外部信号的及时反馈和输入,有利于及时调整和完善学习模型的特征信息。
【图文】：
图 2-1 MapReduce 洗牌和排序示意图[26]同时 Hadoop 支持多种文件压缩格式，以便节省存储空间和网络传输流量，，加快数据的读取、写入和网络传输。总之，Hadoop 在处理大数据方面具有以下非常优越的优势：1. 成本低：Hadoop 软件是开源的，不需要支付购买软件的成本。同时也可以运行在 x86 的普通 PC 服务器集群上。2. 可靠性高：Hadoop 对数据存储多份副本，可以确保数据存储的可靠性。同时系统会自动监测异常任务，当数据处理失败后，会自动重新分配计算任务。3. 扩展性好：Hadoop 可以存储和分发横跨成百上千的并行操作的廉价的服务器数据集群，同时在生产环境中，可以随时添加节点进入集群，操作方便简单。2.4.2 HiveHive 是一个开源数据仓库基于 Hadoop 构建的解决方案。 Hive 支持用类似 SQL 的声明性语言表达的查询HiveQL，它们被编译成在Hadoop上执行的map-reduce作业。Hive
图 2-2 Hive 模块结构图[28]Hive 主要充当数据仓库建模层，管理数据仓库的元数据。它一方面可以作为日报、周报、月报等统计分析报表的引擎；另一方面作为 Spark 和 HDFS 之间的一个中间层，为 Spark 提供数据服务。但由于 Hive 是基于 MapReduce 运算，整个运算过程非常耗时，在目前硬件资源价格相对容易获取的情况下，且经常会面临客户紧急需求而临时跑数据；或因系统故障需要重跑数据，所以实际生产中一般都会选择基于 Spark 进行快速计算。2.4.3 SparkSpark 是一个用来实现快速而通用的集群计算的平台[29]。最初是由加州大学柏克莱分校 AMPLab 所开发。相对于 MapReduce 会在运行完工作后将中间结果数据存放到磁盘中，Spark 则直接基于内存的计算技术，能在数据尚未写入硬盘时即在存储器内分析运算，所以 Spark 相对于 MapReduce 会更高效。
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F274;F626;TP311.13
本文编号：2688233
【图文】：
图 2-1 MapReduce 洗牌和排序示意图[26]同时 Hadoop 支持多种文件压缩格式，以便节省存储空间和网络传输流量，，加快数据的读取、写入和网络传输。总之，Hadoop 在处理大数据方面具有以下非常优越的优势：1. 成本低：Hadoop 软件是开源的，不需要支付购买软件的成本。同时也可以运行在 x86 的普通 PC 服务器集群上。2. 可靠性高：Hadoop 对数据存储多份副本，可以确保数据存储的可靠性。同时系统会自动监测异常任务，当数据处理失败后，会自动重新分配计算任务。3. 扩展性好：Hadoop 可以存储和分发横跨成百上千的并行操作的廉价的服务器数据集群，同时在生产环境中，可以随时添加节点进入集群，操作方便简单。2.4.2 HiveHive 是一个开源数据仓库基于 Hadoop 构建的解决方案。 Hive 支持用类似 SQL 的声明性语言表达的查询HiveQL，它们被编译成在Hadoop上执行的map-reduce作业。Hive
图 2-2 Hive 模块结构图[28]Hive 主要充当数据仓库建模层，管理数据仓库的元数据。它一方面可以作为日报、周报、月报等统计分析报表的引擎；另一方面作为 Spark 和 HDFS 之间的一个中间层，为 Spark 提供数据服务。但由于 Hive 是基于 MapReduce 运算，整个运算过程非常耗时，在目前硬件资源价格相对容易获取的情况下，且经常会面临客户紧急需求而临时跑数据；或因系统故障需要重跑数据，所以实际生产中一般都会选择基于 Spark 进行快速计算。2.4.3 SparkSpark 是一个用来实现快速而通用的集群计算的平台[29]。最初是由加州大学柏克莱分校 AMPLab 所开发。相对于 MapReduce 会在运行完工作后将中间结果数据存放到磁盘中，Spark 则直接基于内存的计算技术，能在数据尚未写入硬盘时即在存储器内分析运算，所以 Spark 相对于 MapReduce 会更高效。
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F274;F626;TP311.13
【参考文献】
相关期刊论文 前1条
1 朱扬勇;孙婧;;推荐系统研究进展[J];计算机科学与探索;2015年05期
相关硕士学位论文 前2条
1 杨宇;基于深度学习特征的图像推荐系统[D];电子科技大学;2015年
2 陈达;基于深度学习的推荐系统研究[D];北京邮电大学;2014年
本文编号：2688233
本文链接：https://www.wllwen.com/guanlilunwen/yingxiaoguanlilunwen/2688233.html
