DSP广告审核业务系统的设计与实现

发布时间：2017-10-17 08:08

  本文关键词：DSP广告审核业务系统的设计与实现

  更多相关文章： 广告数据审核 Lucene全文索引 DDB分布式数据库 性能优化 XSS防御 J2EE

【摘要】：DSP (Demand-Side Platform,需求方平台)是互联网广告中一套新兴的体系,在这个体系中,各个参与者会经常涉及到流量和物料的交互,其中广告数据质量的保证是整个业务中非常重要的一环。审核系统的实现提供了广告数据属性的标注入口,并通过自动审核和人工审核相结合的方式,在保证广告数据质量的同时大大节省了人力成本。除此之外,系统通过提供多维度的查询接口,让公司内部人员能够实时的查看所有的业务数据。 公司内部已经存在一版审核系统,专为传统的联盟广告设计,可以支持的数据量有限。所以新的审核系统需要提供DSP业务特有的功能和更大的数据吞吐量。本文根据现有的业务状况对系统进行了详细的需求分析,包括功能点的划分和非功能性需求分析；在此基础上,从系统架构,系统拓扑和系统构建三个角度进行了概要设计,详细说明了系统本身的三层架构和对其他服务的依赖情况以及线上的服务器部署情况。然后针对各个功能模块进行详细设计,对其中重要的模块做了流程说明和类设计,并明确了各个功能点在实现中方法的调用关系。考虑到DSP业务引入造成了巨大的数据增长,针对这块业务,系统从MVC三个层次的性能优化,以及对于常见的XSS(又叫CSS攻击,Cross Site Script)网络攻击的防御措施。为了提供更好的灵活性和可维护性,采用了商业系统传统的B/S架构,使用J2EE开发。数据库使用了基于MySQL的DDB分布式数据库,前端使用了Velocity模板减少了前端的开发量。为了提高查询效率,系统大量的使用了游标,缓存和集合等方式做性能优化,对于一些大数据功能使用Lucene全文索引。最终完成了整个审核系统的开发,为后续的投放等系统提供了重要的数据支持。本人在项目中完成了从需求分析到设计开发再到部署上线的全过程,其中主要工作包括审核任务分配、任务查询,广告信息查询,人工审核、自动审核,审核情况统计和审核系统管理各个模块的功能设计、开发,以及性能优化和安全防御的部分。 从DSP业务引进至今,审核系统采用敏捷开发的方式,已经开发并上线了八个版本,审核系统的所有功能及优化策略均已经上线。在这八个版本中除了功能的增加,性能方面也逐步的提高,最新版本目前已经稳定运行了近两个月。从数据角度来看,通过审核系统这个入口,DSP广告数据已经全部标注了品类和风险类型等属性,从根本上解决了高仿、虚假广告数据可能会带来的问题。
【关键词】：广告数据审核 Lucene全文索引 DDB分布式数据库 性能优化 XSS防御 J2EE
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-9
• 序言9-12
• 1 引言12-18
• 1.1 项目背景12-14
• 1.2 项目来源14-15
• 1.3 研究目标和内容15-16
• 1.4 论文组织结构16-18
• 2 关键技术介绍18-24
• 2.1 MVC18
• 2.2 Spring框架18-19
• 2.3 Lucene全文索引19-21
• 2.4 DDB分布式数据库21-23
• 2.5 本章小结23-24
• 3 审核系统需求分析24-42
• 3.1 系统背景业务的总体分析24-25
• 3.2 系统用例分析25-26
• 3.3 审核系统功能需求26-38
• 3.3.1 我的审核工作模块28-30
• 3.3.2 广告信息查询模块30-33
• 3.3.3 广告信息审核模块33-35
• 3.3.4 自动任务模块35-37
• 3.3.5 审核情况统计模块37-38
• 3.3.6 审核系统管理模块38
• 3.4 审核系统非功能需求38-39
• 3.5 可行性分析39-40
• 3.6 本章小结40-42
• 4 审核系统设计及实现42-78
• 4.1 审核系统概要设计42-45
• 4.2 审核系统详细设计和实现45-68
• 4.2.1 我的审核工作模块45-47
• 4.2.2 自动任务模块47-53
• 4.2.3 广告信息审核模块53-60
• 4.2.4 广告信息查询模块60-64
• 4.2.5 审核统计模块64-65
• 4.2.6 审核系统管理模块65-68
• 4.3 审核系统数据库设计68-72
• 4.3.1 广告业务库相关表68-70
• 4.3.2 审核库相关表70-71
• 4.3.3 行业库相关表71-72
• 4.4 审核系统性能优化设计72-76
• 4.4.1 前端优化72-73
• 4.4.2 系统中间逻辑层优化73-75
• 4.4.3 数据存储层优化75-76
• 4.5 审核系统Web安全设计76-77
• 4.6 本章小结77-78
• 5 审核系统质量保证78-82
• 5.1 代码版本控制78-79
• 5.2 代码评审79-80
• 5.3 功能和性能测试80-81
• 5.4 本章小结81-82
• 6 结论82-84
• 参考文献84-86
• 附录A86-92
• 附录B92-96
• 作者简历及攻读硕士学位期间取得的研究成果96-98
• 学位论文数据集98

【参考文献】

中国期刊全文数据库 前6条

1 唐文忠;许晓曼;;J2EE信息系统数据访问层性能监测与优化设计[J];北京航空航天大学学报;2007年10期

2 康长安;陈玉红;;基于前端的Web性能优化[J];电脑知识与技术;2011年16期

3 陆荣幸,郁洲,阮永良,王志强;J2EE平台上MVC设计模式的研究与实现[J];计算机应用研究;2003年03期

4 曹强;;基于Lucene的Web站点站内全文检索系统的设计与实现[J];图书情报工作;2007年09期

5 张大卫;解永刚;杨亚彪;何红玲;;XSS攻击分析与防御机制研究[J];数字技术与应用;2012年12期

6 江浩然;;易传媒DAS 通往精准目标受众营销之门的钥匙[J];市场观察;2011年08期

，

本文编号：1047704