基于Spark的电信客户细分数据分析平台实现和应用
发布时间：2021-07-08 12:57
伴随着移动互联网、智能终端、云计算、人工智能技术的发展,大数据时代已经来临。大数据技术正在快速发展,给很多传统企业带来了新的机遇和挑战。电信运营商天然的具有海量数据资源,运用大数据技术构建客户细分数据分析平台,挖掘用户特征,提供精准营销、客户挽留等多种营销服务,这些对于电信运营商而言是大数据时代的重大机遇和挑战。电信市场竞争激烈,服务同质化,以客户为中心的经营模式是电信运营商的必然选择。客户细分能够深入分析客户特征和需求,为客户提供差异化服务,提升产品和服务质量。作为平台设计实现的准备工作,本文首先介绍了大数据相关技术,然后介绍了电信运营商大数据分析应用概况,最后描述了电信客户细分研究现状以及客户细分对于电信运营商的重要意义。本文的研究重点是基于Spark的电信客户细分数据分析平台实现和应用。本文将电信客户细分数据分析平台划分为数据采集及预处理模块、数据存储模块、数据分析模块和可视化模块,创新性完成了每个模块的设计和实现。本文通过客户忠诚度细分、客户价值细分和客户兴趣偏好细分三个不同维度的细分来进行客户细分数据分析,实现客户细分功能。最后,为了提高平台的应用范围,通过电信运营商大数据应...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：78 页
【学位级别】：硕士
【部分图文】：
图２－２?Ｌｏｇｓｔａｓｈ结构图??
应用等不同来源的数据；Ｌｏｇｓｔａｓｈ的ｆｉｌｔｅｒ插件能够试试的解析数据、处理数据，??可以将数据按照用户的要求构建数据结构、转换格式，为后续的分析打下基础；??ｏｕｔｐｕｔ输出插件可以通过用户的设置实现不同存储方式的输出。如图２－２所示，??是Ｌｏｇｓｔａｓｈ的工作流程图，Ｌｏｇｓｔａｓｈ为了适配复杂的应用场景，提供了对接不同??数据源、数据管道、数据库的插件的ｉｎｐｕｔ、ｆｉｌｔｅｒｓ和ｏｕｔｐｕｔ插件，能够实现强大??的功能［１７］。??，居?３输入插件Ｈ过滤插件＾［输出插件｜?＜ｊｊａ＾ｔｉｃｓ＾ｈ）???＾??图２－２?Ｌｏｇｓｔａｓｈ结构图??２．１．２数据存储技术??大数据时代，传统的文件存储、数据库存储技术以及无法满足日益增长的数??据存储、系统容错、并发性访问等等需求。通过分布式的存储架构采用大量的廉??６??
设置Ｆｌｕｍｅ配置文件来组合不同的数据源、管道和目的地，从而适配具体的业务??场景，达到高可用的目的［１５］。??图２－１?Ｆｌｕｍｅ基础结构图??２、Ｌｏｇｓｔａｓｈ??Ｌｏｇｓｔａｓｈ是一个用来进行日志收集管理的工具，从数据源采集数据，按照使??用者的规定输出到目的地［１６］。Ｌｏｇｓｔａｓｈ主要和Ｅｌａｓｔｉｃｓｅａｒｃｈ、Ｋｉａｂａｎａ构成ＥＬＫ??（Ｅｌａｓｔｉｃｓｅａｒｃｈ，Ｌｏｇｓｔａｓｈ，Ｋｉｂａｎａ）系统，用来进行日志分析，可以分布式收集数??据、处理数据和可视化展示数据，功能强大，应用广泛。下面主要介绍Ｌｏｇｓｔａｓｈ??的输入（ｉｎｐｕｔ?ｐｌｕｇｉｎ）、过滤器（ｆｉｌｔｅｒ?ｐｌｕｇｉｎ）和输出（ｏｕｔｐｕｔ?ｐｌｕｇｉｎ）三个构成??组件。??Ｌｏｇｓｔａｓｈ之所以功能强大，因为其构成组件可以自由组合，应用场景丰富。??对于ｉｎｐｕｔ插件而言，能够采集各种数据样式、不同数据量的数据，并且支持不??同数据源，例如用户日志、后台服务器、Ｗｅｂ（ＷｏｒｌｄＷｉｄｅＷｅｂ，即全球广域网）??应用等不同来源的数据；Ｌｏｇｓｔａｓｈ的ｆｉｌｔｅｒ插件能够试试的解析数据、处理数据，??可以将数据按照用户的要求构建数据结构、转换格式
【参考文献】：
期刊论文
[1]基于Hive的大数据在线分析处理[J]. 陈耀旺,朱宁,施扬朋. 计算机时代. 2018(01)
[2]电信运营商大数据平台建设方案与典型应用探讨[J]. 胡举,贺治国,周鼎. 信息通信. 2017(10)
[3]基于大数据技术的服务器日志采集分析方法[J]. 彭骞,党引,李斌. 电力大数据. 2017(08)
[4]Hadoop架构下原生Hbase、Hive、Lealone、Phoenix等各操作组件的比较[J]. 马晓亮,田丰. 广东通信技术. 2017(03)
[5]我国大数据发展现状与趋势[J]. 潘文. 领导科学论坛. 2017(04)
[6]大数据流式计算系统研究综述[J]. 李圣,黄永忠,陈海勇. 信息工程大学学报. 2016(01)
[7]电信运营商大数据系统建设初探[J]. 温文波. 中国新通信. 2015(03)
[8]大数据及其在电信运营中的应用研究[J]. 胡舜耕,魏进武. 电信技术. 2015(01)
[9]移动互联网研究综述[J]. 吴吉义,李文娟,黄剑平,章剑林,陈德人. 中国科学:信息科学. 2015(01)
[10]大数据系统综述[J]. 李学龙,龚海刚. 中国科学:信息科学. 2015(01)
硕士论文
[1]键值数据库在云计算中的应用与实现[D]. 赵鑫.电子科技大学 2015
[2]基于大数据的客户细分模型及精确营销策略研究[D]. 杨茜.南京邮电大学 2015
[3]国内电信运营商集团客户关系管理研究[D]. 朱云鹤.北京邮电大学 2014
[4]面向大规模批量日志数据存储方法的研究[D]. 王兆永.电子科技大学 2011
本文编号：3271614
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：78 页
【学位级别】：硕士
【部分图文】：
图２－２?Ｌｏｇｓｔａｓｈ结构图??
应用等不同来源的数据；Ｌｏｇｓｔａｓｈ的ｆｉｌｔｅｒ插件能够试试的解析数据、处理数据，??可以将数据按照用户的要求构建数据结构、转换格式，为后续的分析打下基础；??ｏｕｔｐｕｔ输出插件可以通过用户的设置实现不同存储方式的输出。如图２－２所示，??是Ｌｏｇｓｔａｓｈ的工作流程图，Ｌｏｇｓｔａｓｈ为了适配复杂的应用场景，提供了对接不同??数据源、数据管道、数据库的插件的ｉｎｐｕｔ、ｆｉｌｔｅｒｓ和ｏｕｔｐｕｔ插件，能够实现强大??的功能［１７］。??，居?３输入插件Ｈ过滤插件＾［输出插件｜?＜ｊｊａ＾ｔｉｃｓ＾ｈ）???＾??图２－２?Ｌｏｇｓｔａｓｈ结构图??２．１．２数据存储技术??大数据时代，传统的文件存储、数据库存储技术以及无法满足日益增长的数??据存储、系统容错、并发性访问等等需求。通过分布式的存储架构采用大量的廉??６??
设置Ｆｌｕｍｅ配置文件来组合不同的数据源、管道和目的地，从而适配具体的业务??场景，达到高可用的目的［１５］。??图２－１?Ｆｌｕｍｅ基础结构图??２、Ｌｏｇｓｔａｓｈ??Ｌｏｇｓｔａｓｈ是一个用来进行日志收集管理的工具，从数据源采集数据，按照使??用者的规定输出到目的地［１６］。Ｌｏｇｓｔａｓｈ主要和Ｅｌａｓｔｉｃｓｅａｒｃｈ、Ｋｉａｂａｎａ构成ＥＬＫ??（Ｅｌａｓｔｉｃｓｅａｒｃｈ，Ｌｏｇｓｔａｓｈ，Ｋｉｂａｎａ）系统，用来进行日志分析，可以分布式收集数??据、处理数据和可视化展示数据，功能强大，应用广泛。下面主要介绍Ｌｏｇｓｔａｓｈ??的输入（ｉｎｐｕｔ?ｐｌｕｇｉｎ）、过滤器（ｆｉｌｔｅｒ?ｐｌｕｇｉｎ）和输出（ｏｕｔｐｕｔ?ｐｌｕｇｉｎ）三个构成??组件。??Ｌｏｇｓｔａｓｈ之所以功能强大，因为其构成组件可以自由组合，应用场景丰富。??对于ｉｎｐｕｔ插件而言，能够采集各种数据样式、不同数据量的数据，并且支持不??同数据源，例如用户日志、后台服务器、Ｗｅｂ（ＷｏｒｌｄＷｉｄｅＷｅｂ，即全球广域网）??应用等不同来源的数据；Ｌｏｇｓｔａｓｈ的ｆｉｌｔｅｒ插件能够试试的解析数据、处理数据，??可以将数据按照用户的要求构建数据结构、转换格式
【参考文献】：
期刊论文
[1]基于Hive的大数据在线分析处理[J]. 陈耀旺,朱宁,施扬朋. 计算机时代. 2018(01)
[2]电信运营商大数据平台建设方案与典型应用探讨[J]. 胡举,贺治国,周鼎. 信息通信. 2017(10)
[3]基于大数据技术的服务器日志采集分析方法[J]. 彭骞,党引,李斌. 电力大数据. 2017(08)
[4]Hadoop架构下原生Hbase、Hive、Lealone、Phoenix等各操作组件的比较[J]. 马晓亮,田丰. 广东通信技术. 2017(03)
[5]我国大数据发展现状与趋势[J]. 潘文. 领导科学论坛. 2017(04)
[6]大数据流式计算系统研究综述[J]. 李圣,黄永忠,陈海勇. 信息工程大学学报. 2016(01)
[7]电信运营商大数据系统建设初探[J]. 温文波. 中国新通信. 2015(03)
[8]大数据及其在电信运营中的应用研究[J]. 胡舜耕,魏进武. 电信技术. 2015(01)
[9]移动互联网研究综述[J]. 吴吉义,李文娟,黄剑平,章剑林,陈德人. 中国科学:信息科学. 2015(01)
[10]大数据系统综述[J]. 李学龙,龚海刚. 中国科学:信息科学. 2015(01)
硕士论文
[1]键值数据库在云计算中的应用与实现[D]. 赵鑫.电子科技大学 2015
[2]基于大数据的客户细分模型及精确营销策略研究[D]. 杨茜.南京邮电大学 2015
[3]国内电信运营商集团客户关系管理研究[D]. 朱云鹤.北京邮电大学 2014
[4]面向大规模批量日志数据存储方法的研究[D]. 王兆永.电子科技大学 2011
本文编号：3271614
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3271614.html
