基于Druid的广告数据分析系统的设计与实现
发布时间：2021-05-24 14:48
互联网广告经过多年的发展,已经取得了非常显著的成绩。互联网广告可以帮助广告主收集广告投放的效果,比如潜在客户群体和用户实际参与行为。伴随着手机端App的迅猛发展和迅速推进,传统的PC端互联网广告,比如百度搜索广告以及一些网站媒体的合约广告等,逐渐被移动端互联网广告所取代。由于网易新闻客户端每天都会产生海量的广告日志数据,这为广告数据的分析带来巨大的挑战,仅靠现有借助文本去分析和处理数据,分析过程耗时且分析不全面是常见的问题。因此需要设计一款广告数据分析系统来对现有的信息流广告日志进行分析和处理,以支持日趋增长的广告业务需求,并为广告投放提供可参考的数据依据。本文通过对移动互联网广告手机应用的发展进行分析,并结合网易新闻信息流广告业务的背景,得出了广告数据分析系统的功能和非功能需求。广告数据分析系统的功能需求主要包含日志管理,数据信息处理和数据统计分析,功能需求分析主要是通过用例图来对广告数据分析系统进行需求建模。非功能需求包含系统的安全性和性能要求,广告数据分析系统很重要的一个性能要求是实现数据的实时和快速查询,Druid作为大数据查询引擎的典型代表,其对原始数据采用高度压缩和预聚合的...
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 项目背景与意义
1.2 国内外研究现状
1.2.1 国内互联网广告的发展现状
1.2.2 国外互联网广告的发展现状
1.3 本文主要内容
1.4 本文组织结构
第二章 相关技术和理论
2.1 数据处理技术
2.1.1 Hadoop数据处理平台
2.1.2 Spark Streaming实时计算框架
2.1.3 Kafka消息队列
2.1.4 数据仓库Apache Hive
2.2 分布式组件
2.2.1 日志采集组件Logstash
2.2.2 数据查询引擎Druid
2.2.3 任务调度系统Apache Airflow
2.3 后端轻量级框架Node.js
2.4 互联网在线广告
2.4.1 在线广告的组成
2.4.2 在线广告竞价机制与广告交易平台
2.5 本章小结
第三章 广告数据分析系统的需求分析
3.1 广告数据分析系统的概述
3.2 系统功能需求分析
3.2.1 广告日志管理需求
3.2.2 数据信息处理需求
3.2.3 数据统计分析需求
3.3 系统非功能需求分析
3.4 本章小结
第四章 广告数据分析系统的设计与实现
4.1 架构设计
4.1.1 总体设计
4.1.2 系统功能模块设计
4.2 数据库设计
4.2.1 数据库整体设计
4.2.2 数据库详细设计
4.3 广告日志管理模块设计与实现
4.3.1 广告日志采集模块设计与实现
4.3.2 广告数据质量监控模块设计与实现
4.4 数据信息处理模块设计与实现
4.4.1 广告离线计算模块设计与实现
4.4.2 广告实时计算模块设计与实现
4.5 数据统计分析模块设计与实现
4.5.1 广告数据加载模块设计与实现
4.5.2 广告在线分析模块设计与实现
4.6 本章小结
第五章 基于Druid的广告数据分析系统的测试
5.1 测试工具与测试环境
5.2 广告日志管理功能测试
5.2.1 广告日志采集测试
5.2.2 广告数据质量监控测试
5.3 数据信息处理功能测试
5.3.1 广告离线计算测试
5.3.2 广告实时计算测试
5.4 数据统计分析功能测试
5.4.1 广告数据加载测试
5.4.2 广告在线分析测试
5.5 系统非功能性测试
5.5.1 安全性测试
5.5.2 系统性能测试
5.6 本章小结
第六章 总结与展望
6.1 总结
6.2 进一步工作展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]大数据时代互联网广告的营销模式[J]. 董丽荣. 传媒. 2017(08)
[2]互联网广告在大数据时代下的发展[J]. 陈保. 无线互联科技. 2016(05)
硕士论文
[1]基于Node.js的Web前端框架的研究与实现[D]. 温馨.东南大学 2017
[2]搜索广告长尾查询的在线扩展方法研究[D]. 李亚林.哈尔滨工程大学 2017
[3]SEM广告数据分析系统的设计与实现[D]. 陈盛力.北京交通大学 2016
[4]基于Django的日志分析系统的设计与实现[D]. 潘宇轩.南京大学 2014
本文编号：3204373
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：76 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 项目背景与意义
1.2 国内外研究现状
1.2.1 国内互联网广告的发展现状
1.2.2 国外互联网广告的发展现状
1.3 本文主要内容
1.4 本文组织结构
第二章 相关技术和理论
2.1 数据处理技术
2.1.1 Hadoop数据处理平台
2.1.2 Spark Streaming实时计算框架
2.1.3 Kafka消息队列
2.1.4 数据仓库Apache Hive
2.2 分布式组件
2.2.1 日志采集组件Logstash
2.2.2 数据查询引擎Druid
2.2.3 任务调度系统Apache Airflow
2.3 后端轻量级框架Node.js
2.4 互联网在线广告
2.4.1 在线广告的组成
2.4.2 在线广告竞价机制与广告交易平台
2.5 本章小结
第三章 广告数据分析系统的需求分析
3.1 广告数据分析系统的概述
3.2 系统功能需求分析
3.2.1 广告日志管理需求
3.2.2 数据信息处理需求
3.2.3 数据统计分析需求
3.3 系统非功能需求分析
3.4 本章小结
第四章 广告数据分析系统的设计与实现
4.1 架构设计
4.1.1 总体设计
4.1.2 系统功能模块设计
4.2 数据库设计
4.2.1 数据库整体设计
4.2.2 数据库详细设计
4.3 广告日志管理模块设计与实现
4.3.1 广告日志采集模块设计与实现
4.3.2 广告数据质量监控模块设计与实现
4.4 数据信息处理模块设计与实现
4.4.1 广告离线计算模块设计与实现
4.4.2 广告实时计算模块设计与实现
4.5 数据统计分析模块设计与实现
4.5.1 广告数据加载模块设计与实现
4.5.2 广告在线分析模块设计与实现
4.6 本章小结
第五章 基于Druid的广告数据分析系统的测试
5.1 测试工具与测试环境
5.2 广告日志管理功能测试
5.2.1 广告日志采集测试
5.2.2 广告数据质量监控测试
5.3 数据信息处理功能测试
5.3.1 广告离线计算测试
5.3.2 广告实时计算测试
5.4 数据统计分析功能测试
5.4.1 广告数据加载测试
5.4.2 广告在线分析测试
5.5 系统非功能性测试
5.5.1 安全性测试
5.5.2 系统性能测试
5.6 本章小结
第六章 总结与展望
6.1 总结
6.2 进一步工作展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]大数据时代互联网广告的营销模式[J]. 董丽荣. 传媒. 2017(08)
[2]互联网广告在大数据时代下的发展[J]. 陈保. 无线互联科技. 2016(05)
硕士论文
[1]基于Node.js的Web前端框架的研究与实现[D]. 温馨.东南大学 2017
[2]搜索广告长尾查询的在线扩展方法研究[D]. 李亚林.哈尔滨工程大学 2017
[3]SEM广告数据分析系统的设计与实现[D]. 陈盛力.北京交通大学 2016
[4]基于Django的日志分析系统的设计与实现[D]. 潘宇轩.南京大学 2014
本文编号：3204373
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3204373.html
