基于Spark和Kylin的搜索广告商业数据OLAP系统的设计与实现

发布时间：2021-01-17 01:31

　　OLAP系统是一种海量数据查询需求场景中的解决方案,被广泛应用在销售、市场、统计等领域,为企业决策提供支持。如今,数据仓库和多维分析等技术已经逐渐成为行业主流的OLAP解决思路。在数据计算方面,Spark是相对成熟,应用广泛的大数据计算引擎,Kylin是一种集成性的OLAP的解决方案,通过预计算生成数据立方体以提供超高速的查询服务。本文在对数据进行定义、分析和整理的基础上,进行清洗、转化和建模,构建数据仓库,设计数据立方体,同时对系统进行了需求分析、概要设计,并详细介绍了系统的实现。使用该系统,用户可以通过选择查询维度创建任务,也可以通过编写SQL语句创建任务,从不同角度观察访问量、点击通过率、收入等业务指标。系统还提供了用户权限配置的功能和任务队列管理的功能。本系统的特点在于多计算引擎下的任务的调度,以及兼具并发性、扩展性和高效率的架构设计。技术方面,系统使用Hive作为数据仓库,使用Spark和Kylin作为计算引擎,并支持引擎的自动切换和扩展。使用Golang和Scala作为主要开发语言。总体架构方面,系统采用三端分离的架构方式,即前端负责用户交互和信息展示;后端负责权限管理和任... 

【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】：100 页

【学位级别】：硕士

【部分图文】：

图１－１数据仓库和ＯＬＡＰ??Ｆｉｕｒｅ?１．１?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ?ａｎｄ?ＯＬＡＰ??

图１－４数据Ｃｕｂｅ示例以及常用ＯＬＡＰ操作ｍ??

图２－１互联网广告模式图??Ｆｉｕｒｅ?２－１?Ｉｎｔｅｒｎｅｔ?ＡｄｖｅｒｔｉｓｉｎＳｃｈｅｍａ??

【参考文献】：
期刊论文
[1]基于Kylin实现大数据多维分析[J]. 谭志远.  广东通信技术. 2018(08)
[2]Hadoop与Spark应用场景研究[J]. 冯兴杰,王文超.  计算机应用研究. 2018(09)
[3]B\S和C\S的架构分析[J]. 籍慧文.  电子技术与软件工程. 2017(05)
[4]基于Hadoop的交互式大数据分析查询处理方法[J]. 李聪颖,王瑞刚,梁小江.  计算机技术与发展. 2016(08)
[5]移动营销常见方法及技巧[J]. 王亚明.  现代经济信息. 2016(11)
[6]基于Java的Protocol Buffers研究[J]. 何双江.  程序员. 2009(08)
[7]Protocol Buffers——比XML快近100倍[J]. 宫唐小恒,李旭伟.  电脑与信息技术. 2009(01)
[8]一种新型数据仓库体系的实现[J]. 张磊,钟勇.  计算机应用. 2003(10)

硕士论文
[1]基于Kylin的数据实时查询分析平台的研究与优化[D]. 李明昆.北京邮电大学 2018
[2]基于Protocol Buffer的即时通信监控系统设计与实现[D]. 刘青.华中科技大学 2013



本文编号：2981928