广告投放数据管理平台的设计与实现

发布时间：2017-09-08 19:43

  本文关键词：广告投放数据管理平台的设计与实现

  更多相关文章： 广告数据管理平台 Spark Hadoop Spark SQL Hive JavaEE

【摘要】：在互联网广告产业,大数据对广告企业的影响越来越大。数据管理平台是互联网广告体系中非常重要的一部分,营销者通过大数据分析消费者的采购行为,可以将广告更有针对性地传达给“刚需客户”。网站管理者能弄清网站用户的访问行为和喜好,将内容更有针对性地推送给用户,提高用户访问的粘性,增大网站的流量。此外,数据管理平台提供了多维度的查询接口,让广告主和运营人员能够实时的查看数据效果展示。 论文选题来源于亚信科技有限公司大数据部门的实际应用,设计和实现了广告投放数据管理平台。本文根据现有的业务状况对平台进行了详细的需求分析,包括功能点的划分、功能性和非功能性需求分析；从平台架构,平台拓扑和平台构建三个角度进行了概要设计,详细说明了平台本身的三层架构和对其他服务的依赖情况以及线上的服务器部署情况;针对各个功能模块进行详细设计,对其中重要的模块做了流程说明和类设计,并明确了各个功能点在实现中方法的调用关系；为了提供更好的灵活性和可维护性,平台采用了商业系统传统的B/S架构,并使用JavaEE进行开发；数据库使用了MySQL数据库：前端使用了j Query框架进行开发。为了支持海量日志的快速收集和统计,平台采用了Hadoop、Spark等分布式并行计算框架。为了提高查询效率,平台大量的使用了Hive、Spark SQL和缓存等方式提高性能。本人在项目中完成了从需求分析到设计开发,再到项目部署上线的全过程,其中主要工作包括：多种任务调度、日志收集、日志处理、数据查询展示、人群管理、人群洞察、动态素材各个模块的功能设计、开发,以及性能的优化。 数据管理平台采用敏捷开发的方式,已经开发并上线了八个版本,数据管理平台的现阶段需求提出的所有功能均已经上线。在这八个版本中除了功能的增加,性能方面也逐步的提高,最新版本目前已经稳定运行了近两个月,为进行广告投放的需求方平台提供了重要的数据支持。从数据角度来看,通过数据管理平台,需求方平台的广告投放的效果得到增强,并通过直观的数据展示,也让更多的广告主认可了广告投放平台,通过数据的应用为广告主和公司创造了收益。
【关键词】：广告数据管理平台 Spark Hadoop Spark SQL Hive JavaEE
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.52
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-9
• 序言9-10
• 目录10-12
• 1 引言12-18
• 1.1 论文背景12-14
• 1.2 项目来源14-15
• 1.3 论文主要工作15-16
• 1.4 论文组织结构16
• 1.5 本章小结16-18
• 2 关键技术18-22
• 2.1 Spring框架18-19
• 2.2 Hadoop19
• 2.3 Spark19-21
• 2.4 Redis21
• 2.5 本章小结21-22
• 3 广告投放数据管理平台需求分析22-40
• 3.1 系统背景业务分析22-24
• 3.2 系统角色分析24
• 3.3 数据管理平台功能需求24-38
• 3.3.1 人群洞察模块26-29
• 3.3.2 人群管理模块29-32
• 3.3.3 任务调度模块32-35
• 3.3.4 日志统计模块35-37
• 3.3.5 日志收集服务模块37
• 3.3.6 广告代码服务模块37-38
• 3.4 广告投放数据管理平台非功能需求38
• 3.5 可行性分析38-39
• 3.6 本章小结39-40
• 4 广告投放数据管理平台总体设计与实现40-72
• 4.1 广告投放数据管理平台概要设计40-44
• 4.2 数据管理平台详细设计和实现44-63
• 4.2.1 人群洞察模块44-48
• 4.2.2 人群管理模块48-51
• 4.2.3 任务调度模块51-59
• 4.2.4 日志统计模块59-62
• 4.2.5 日志收集服务模块62-63
• 4.3 数据管理平台数据库设计63-69
• 4.3.1 人群管理业务相关表64-65
• 4.3.2 权限相关相关表65-66
• 4.3.3 报表相关相关表66-67
• 4.3.4 Hive库相关表67-69
• 4.4 数据管理平台性能优化设计69-71
• 4.4.1 前端优化69-70
• 4.4.2 数据存储层优化70-71
• 4.5 系统部署71
• 4.6 本章小结71-72
• 5 数据管理平台质量保证72-80
• 5.1 代码版本控制72-73
• 5.2 代码评审73-74
• 5.3 功能测试74-77
• 5.3.1 DMP控制台功能性测试75-76
• 5.3.2 日志统计相关模块功能性测试76-77
• 5.4 非功能测试77-79
• 5.5 本章小结79-80
• 6 结论80-81
• 参考文献81-83
• 作者简历及攻读硕士学位期间取得的研究成果83-85
• 学位论文数据集85

【引证文献】

中国硕士学位论文全文数据库 前1条

1 刘鹏;基于Spark的数据管理平台的设计与实现[D];浙江大学;2016年

，

本文编号：816004