互联网广告服务器集群的设计实现与性能优化

发布时间：2020-09-18 22:01

　　随着互联网的快速发展,国内网民数量迅猛增长,众多广告主也将广告投放从电视广播等传统途径转向互联网途径。二十一世纪以来,得益于计算广告技术的快速发展及其业务本身极高的利润率,国内主要的电商巨头,主流搜索引擎和大型门户网站纷纷搭起自家的广告投放平台,诸如百度旗下百度DSP,阿里巴巴集团旗下阿里妈妈等,十多年的实践也证明,互联网最有效的商业模式莫过于可以把流量直接变现的在线广告模式。而在这大浪淘沙的十年间,互联网广告投放体系也日趋稳定,形成了以广告交易平台(Ad Exchange)为核心枢纽,需求方平台(Demand-Side Platform,DSP)与供给方平台(Supply-Side Platform,SSP)为中间节点,关联广告主与媒体投放端的体系结构。而随着程序化购买概念的兴起与发展,整个广告投放过程对DSP提出了更高的要求,一个优秀DSP平台不仅要拥有强大的实时竞价(Real-Time Bidding,RTB)能力,还需具备准确的人群定向功能。这意味着DSP平台要面对超高并发和超大运算量两难并存的情况,这不仅对服务器性能提出了挑战,也对服务器与算法开发人员留下了难题。本人研究生期间长期于国内某一线互联网公司旗下需求方平台任服务器架构岗,故本文将以DSP平台为核心展开讨论。本文内容主要涉及平台体系结构,交易方式和数据存储等领域,通过对精准定向,实时竞价等核心业务以及服务器负载,请求时长等核心性能指标分析,并综合本人的工作经验,阐述并解释了本文实现系统中AOAS服务器集群被动丢包的原因,结合服务器结构与所执行业务逻辑设计并实现了基于Redis内存数据库与Kafka消息中间件的缓存策略且最终取得了不错效果;并应本司用户数据部与广告素材部要求根据其反馈“部分商品很少被定向到且部分用户未参与人群定向”情况给出分析报告与解决方案,由于本文作者负责业务并不涉及定向模块与素材库模块,最终经过讨论与分析,决定从本文实现架构中的ARAS服务器出发,结合现有“定向包段(directed Cost Per Day,dCPD)广告定向精度不足的问题”,给出了定向托底的解决方案,实验结果证明该方案在未修改定向模块的前提下缓和了定向覆盖率不足的问题且高了 dCPD广告投放的精准度。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.09;F49;F713.8
【部分图文】：

拓扑图,拓扑图,组件,广告

ＤＳＰ平台的广告投放功能是基于大数据网络的全网覆盖实现的，其实质是广逡逑告平台整合零散的广告代理平台，并从海量人群中精准定向出目标人群进行广告逡逑投放操作。本文实现的ＤＳＰ集群的拓扑结构大致如图２－２所示，其中包括广告组逡逑核心业务服务器（ＡｄＦａｃｔｉｏｎＳｅｒｖｅｒ，ＡＦＳ）集群，作为大后台服务器处理广告售卖业逡逑务逻辑；广告组网关服务器（ＡｄＲｅａｌ－ＮａｍｅＡｎａｌｙｓｉｓＳｅｒｖｅｒ，ＡＲＡＳ）集群，负责对投逡逑放端请求进行解析，并重构广告位级别的请求并访问ＡＦＳ服务器以获取广告响应；逡逑人群定向服务器（ＡｄＡｕｄｉｅｎｃｅｓＡｎａｌｙｓｉｓＳｅｒｖｅｒ，ＡＡＡＳ）集群，在本文实现ＤＳＰ平台逡逑架构中，ＡＡＡＳ服务器充当了邋ＤＭＰ平台的功能，为ＤＳＰ平台提供人群定向服务逡逑于精准投放的技术支持；物料供应服务器（ＡｄＭａｔｅｒｉａｌＳｕｐｐｌｙＳｅｒｖｅｒ，ＡＭＳＳ）集群，逡逑该集群存储广告的图片，文案以及店铺链接等信息，在ＡＲＡＳ服务器从ＡＦＳ服务逡逑器获取广告响应后

拓扑图,服务器集群,拓扑图,广告

逡逑图２－〗互联网广告组件拓扑图逡逑２．邋１．２ＤＳＰ服务器集群架构分析逡逑ＤＳＰ平台的广告投放功能是基于大数据网络的全网覆盖实现的，其实质是广逡逑告平台整合零散的广告代理平台，并从海量人群中精准定向出目标人群进行广告逡逑投放操作。本文实现的ＤＳＰ集群的拓扑结构大致如图２－２所示，其中包括广告组逡逑核心业务服务器（ＡｄＦａｃｔｉｏｎＳｅｒｖｅｒ，ＡＦＳ）集群，作为大后台服务器处理广告售卖业逡逑务逻辑；广告组网关服务器（ＡｄＲｅａｌ－ＮａｍｅＡｎａｌｙｓｉｓＳｅｒｖｅｒ，ＡＲＡＳ）集群，负责对投逡逑放端请求进行解析，并重构广告位级别的请求并访问ＡＦＳ服务器以获取广告响应；逡逑人群定向服务器（ＡｄＡｕｄｉｅｎｃｅｓＡｎａｌｙｓｉｓＳｅｒｖｅｒ，ＡＡＡＳ）集群，在本文实现ＤＳＰ平台逡逑架构中

架构图,外部请求,处理服务,人群

签数量越多，标签组合圈定的用户数量越少，定向越精准。逡逑ＤＳＰ广告投放的精准性很大程度取决于ＡＡＡＳ服务器所提供的人群划分功能逡逑的精准性。ＡＡＡＳ服务器集群人群定向模块训练模型拓扑如下图２＿３所示，采用逡逑正负样本以及用户行为特征作为训练集对模型进行训练，最终模型会输出用户定逡逑向信息。模型实现中，以兴趣人群为正样本，并从全部用户中随机采样作为负样逡逑本，用户特征从用户搜索记录，购物车，购买记录以及用户画像中提取而成。最逡逑终将正负样本与用户特征作为训练及共同参与模型的训练。逡逑搜索逦逡逑记录逡逑逦ｙ逡逑购物逦？特征逦用户邋逦逡逑％邋ｊ逦ｍｍ邋Ｊ逡逑ｙ＇ｌｌｕｌ邋＂？；＇；；；逦Ｊ＊逦／逦ａ邋＾逦逦逡逑购买Ｉ——Ｉ逦—＾训练邋４邋Ｔｒａｉ｝ｒ．Ｍ0＾ｅｌ邋—分类」逡逑ｉＥ录集逦Ｔｒ＾ｍ邋．ｕ＾ｌ逦测试逡逑逦ｖ逦Ｖ邋逦逦逦ｖ逡逑＾逦逦逦逦邋Ｔ邋—逡逑兴趣邋逦＾正祥——逦＿试：逦邋ｊ逡逑／ｖ群逦本逦集逦丨知非ｊ逡逑逦Ｋ逦逦Ｖ逦ｌ／＾逦逦逦逦ｙ逡逑逦逦逦邋ｖａ邋邋逦邋，ｒ逦ｉ逡逑全部逦＞预敫邋＿＿负采邋逦Ｉ逦指标逦定向逡逑曥户逦理逦样逦统计逦投放逡逑Ｕ逦逦Ｋ邋逦Ｊ／逦逦逦逦Ｖ逦逦，逡逑图２－３ＤＭＰ人群定向模型拓扑图逡逑２．邋１．４邋ＡＲＡＳ外部请求处理服务器架构分析逡逑ＡＲＡＳ服务器是ＤＳＰ服务器外层屏障，其功能是对访问ＡＲＡＳ服务器的请求逡逑进行解析，分组和转发的操作，将ＳＳＰ或媒体投放端直接发来的请求重构为广告逡逑位级别的ＡＦＳ内部请求

【相似文献】