广告投放数据分析系统的设计与实现
发布时间：2020-05-28 13:52
【摘要】：在现在的互联网背景下,随着私人计算机和手机的覆盖率增加,技术增长进而导致的网络的价格不断的降低,人们几乎在每一天都要上网进行各种各样的活动。而其中本人所在的实习公司会收到很多的来自人们的访问,因此会出现大量的访问数据,如何高效的使用以及储存这些量级极大的数据,进而应用于各种有利于公司的业务场景,成为了一个急需解决的问题。广告投放数据分析系统,即DMP系统(Data-ManagementPlatform,数据管理平台)的子系统,是目前大型和中型互联网公司中非常流行的一个系统,此系统是 RTB(RealTimeBidding,实时竞价)-DSP(DemandSidePlatform,需求方平台)体系中非常重要的一环。此系统需要完成的任务相当多,它不仅要处理来自于公司APP的大量数据,还要处理来自DSP系统的数据,除此之外,在数据处理完成后,此系统还要对这些数据进行数据可视化以及最后的导出工作,来支持数据分析部门,BI(Business Intelligence)部门以及算法部门的工作。在整个广告投放数据分析系统的开发中,本人主要参与了需求分析、设计、开发、测试以及维护的工作,本人的工作内容如下:(1)参与并完成了整个系统的需求分析,提出了我所想到的所有需要注意的环节以及问题,尽量满足来自于各个部门的内部需求。(2)参与并完成了整个系统的概要设计,最后确定了系统的功能模块划分。(3)与两人合作完成了系统各个模块的详细设计与实现、包括数据仓库数据获取子模块的详细设计与实现、实时流日志分析子模块的详细设计与实现、DSP日志获取子模块的详细设计与实现、数据库数据获取子模块的详细设计与实现、DSP日志分析子模块的详细设计与实现、数据仓库数据清洗子模块的详细设计与实现、cube制作子模块的详细设计与实现以及相对简单的数据展示模块和数据导出模块的详细设计与实现。(4)参与并完成了整个系统的测试工作。(5)负责整个系统的每日维护和更新,包括新ETL的编写,新主题数据的增加,每日自动化调度的实现等等。在实现广告投放数据分析系统的过程中,使用的技术大多数为Hadoop生态圈的相关框架,即Mapreduce,Hive,Spark,Kylin等,使用的开发语言为Java,Shell以及Hive Sql。本项目目前已经上线,并已经经过多次的更新与迭代,是一个完善的系统,对组内所有部门的工作都起到了非常大的支持作用。
【图文】：
图２－１邋Ｓｐａｒｋ框架整体架构图逡逑Ｆｉｇｕｒｅ邋２－１邋Ａｒｔｉｔｅｃｈｔｕｒｅ邋ｏｆ邋Ｓｐａｒｋ逡逑Ｓｐａｒｋ的工作流程：逡逑（１）应用程序在使用ｓｐａｒｋ－ｓｕｂｍｉｔ进行任务提交之后，首先要根据参数设始化ＳｐａｒｋＣｏｎｔｅｘｔ，ＳｐａｒｋＣｏｎｔｅｘｔ是Ｓｐａｒｋ的运行环境，在任务的运起到主导作用。随后会创建ＤＡＧ邋Ｓｃｈｅｄｕｌｅｒ和Ｔａｓｋ邋Ｓｃｈｅｄｕｌｅｒ。Ｄｒｉｖｅｒ将整个程序划分成多个Ｊｏｂ，每个Ｊｏｂ内部都会构建ＤＡＧ图，ＤＡＳｃｈｅｄｕｌｅｒ会将ｊｏｂ划分成多个Ｓｔａｇｅ，，再更细致的划分为多个ｔａｓｋ并传Ｔａｓｋ邋Ｓｃｈｅｄｕｌｅｒ。最后由Ｔａｓｋ邋Ｓｃｈｅｄｕｌｅｒ进行集群上的调度。逡逑（２）逦Ｄｒｉｖｅｒ根据初始化ＳｐａｒｋＣｏｎｔｅｘｔ时的参数设置向资源管理器（ＲｅｓｏｕｒｃＭａｎａｇｅｒ）申请资源。逡逑（３）逦Ｒｅｓｏｕｒｃｅ邋ｍａｎａｇｅｒ收到请求后会在Ｗｏｒｋｎｏｄｅ节点上创建Ｅｘｅｃｕｔｏｒ。逡逑（４）逦Ｄｒｉｖｅｒ邋分配邋Ｔａｓｋ邋给邋Ｅｘｅｃｕｔｏｒ邋执行。逡逑（５）任务完成，注销资源。逡逑ｕｔｅ
平台上的数据库数据，实时流日志数据则是Ｓｐａｒｋ实时流处理落下的日志以供后逡逑续统计分析。逡逑系统将会对得到的源数据进行不同的处理，整个系统的工作流程如图３－１所示：逡逑数据源邋１邋ＤＳＰ数据库数邋１数据仓库曝光数据逦１实时流日志Ｉ＊一逡逑逦逦邋逦（生成逡逑逦ｉ逦邋逦５逦邋逦逦逡逑数据分析处理逦ＥＴＬ数据清洗逦实时流日志分析逦平台实时流计算逡逑逦５逦邋逦ｉ逦邋逦５！逦邋逦ｉ逦逡逑数据生成逦Ｃｕｂｅ生成逦k稳崭飨钪副赍稳罩竟朔治鲥问凳绷髁縱憧劐义鲜荻越渝沃С制渌萜教ㄥ紊蹋椋胫悄芊治鲇胍滴裰С皱问萃谖斟义贤迹常惫愀嫱斗攀莘治鱿低彻ぷ髁鞒体义希疲椋纾酰颍邋澹常卞澹裕瑁邋澹穑颍铮悖澹螅箦澹铮驽澹簦瑁邋澹樱螅簦澹礤义希保靛义
本文编号：2685336
【图文】：
图２－１邋Ｓｐａｒｋ框架整体架构图逡逑Ｆｉｇｕｒｅ邋２－１邋Ａｒｔｉｔｅｃｈｔｕｒｅ邋ｏｆ邋Ｓｐａｒｋ逡逑Ｓｐａｒｋ的工作流程：逡逑（１）应用程序在使用ｓｐａｒｋ－ｓｕｂｍｉｔ进行任务提交之后，首先要根据参数设始化ＳｐａｒｋＣｏｎｔｅｘｔ，ＳｐａｒｋＣｏｎｔｅｘｔ是Ｓｐａｒｋ的运行环境，在任务的运起到主导作用。随后会创建ＤＡＧ邋Ｓｃｈｅｄｕｌｅｒ和Ｔａｓｋ邋Ｓｃｈｅｄｕｌｅｒ。Ｄｒｉｖｅｒ将整个程序划分成多个Ｊｏｂ，每个Ｊｏｂ内部都会构建ＤＡＧ图，ＤＡＳｃｈｅｄｕｌｅｒ会将ｊｏｂ划分成多个Ｓｔａｇｅ，，再更细致的划分为多个ｔａｓｋ并传Ｔａｓｋ邋Ｓｃｈｅｄｕｌｅｒ。最后由Ｔａｓｋ邋Ｓｃｈｅｄｕｌｅｒ进行集群上的调度。逡逑（２）逦Ｄｒｉｖｅｒ根据初始化ＳｐａｒｋＣｏｎｔｅｘｔ时的参数设置向资源管理器（ＲｅｓｏｕｒｃＭａｎａｇｅｒ）申请资源。逡逑（３）逦Ｒｅｓｏｕｒｃｅ邋ｍａｎａｇｅｒ收到请求后会在Ｗｏｒｋｎｏｄｅ节点上创建Ｅｘｅｃｕｔｏｒ。逡逑（４）逦Ｄｒｉｖｅｒ邋分配邋Ｔａｓｋ邋给邋Ｅｘｅｃｕｔｏｒ邋执行。逡逑（５）任务完成，注销资源。逡逑ｕｔｅ
平台上的数据库数据，实时流日志数据则是Ｓｐａｒｋ实时流处理落下的日志以供后逡逑续统计分析。逡逑系统将会对得到的源数据进行不同的处理，整个系统的工作流程如图３－１所示：逡逑数据源邋１邋ＤＳＰ数据库数邋１数据仓库曝光数据逦１实时流日志Ｉ＊一逡逑逦逦邋逦（生成逡逑逦ｉ逦邋逦５逦邋逦逦逡逑数据分析处理逦ＥＴＬ数据清洗逦实时流日志分析逦平台实时流计算逡逑逦５逦邋逦ｉ逦邋逦５！逦邋逦ｉ逦逡逑数据生成逦Ｃｕｂｅ生成逦k稳崭飨钪副赍稳罩竟朔治鲥问凳绷髁縱憧劐义鲜荻越渝沃С制渌萜教ㄥ紊蹋椋胫悄芊治鲇胍滴裰С皱问萃谖斟义贤迹常惫愀嫱斗攀莘治鱿低彻ぷ髁鞒体义希疲椋纾酰颍邋澹常卞澹裕瑁邋澹穑颍铮悖澹螅箦澹铮驽澹簦瑁邋澹樱螅簦澹礤义希保靛义
本文编号：2685336
本文链接：https://www.wllwen.com/wenyilunwen/guanggaoshejilunwen/2685336.html
