基于深度强化学习的展示广告实时竞价策略

发布时间：2020-10-24 01:06

　　 实时竞价(Real-Time Bidding,RTB)是展示广告(Display Advertising)的重要机制。RTB允许广告主对每一个广告展现进行评估并出价,其核心是需求方平台(Demand Side Platform,DSP)。DSP代表广告主的利益,为有效实现展示广告的自动优化投放,满足广告投放收益最大化的需求,制定实时高效的竞价策略是DSP最需要解决的问题。为实现这一目标,近年来,众多相关研究工作将竞价策略视为一个静态优化问题,即独立处理每个广告展现的价值,或者为不同的广告流量设置不同的固定价格。但是,由于同一个广告展现通常有数以千计甚至更多的竞争者参与竞价,并且广告主随时可能更改投放计划的设置,这导致竞价环境高度动态且不可预测。因此,此类静态策略在实际应用中难以达到广告主的目标。为解决上述问题,本文提出一种基于深度增强学习的展示广告实时竞价模型(Deep Reinforcement Learning to Bid,DRLB),将竞价决策过程视为强化学习问题。其中,状态空间由竞价信息和实时竞价参数组成,智能体(Agent)的动作是对出价进行设置。在该模型中,针对RTB环境下大规模数据量问题,本文采用深度Q网络(Deep Q Network,DQN)对相关参数进行求解。进而,本文提出了一种新的奖励函数,解决了DQN中即时奖励函数(Immediate Reward Function)在严格预算约束下难以求解模型最优解的问题。考虑到RTB环境下大规模数据量问题,本文并采用深度神经网络RewardNet对奖励函数进行拟合,以使模型能够更高效地求解最优策略。此外,本文针对DQN中“探索”和“利用”的平衡问题提出一种新?-greedy策略——自适应?-greedy策略,该策略能根据Q值的分布自适应地调整?值以更好地平衡“探索”和“利用”,使得模型更快地收敛到最优解。本文基于iPinYou数据集对DRLB进行不同的实验,并与当前主流的模型相对比。实验结果表明,本文提出的模型在各个指标上均优于其他模型,同时验证了提出的两个创新点的有效性。
【学位单位】：华南理工大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：F713.8;TP18
【部分图文】：

广告的交易机制并不能适应这种变化，因此采用传统展示比较差。于是，基于实时竞价（Real-TimeBidding，RTB）展示广告自 2009 年出现之后就成为了互联网广告的热门新上下文广告中，广告主需要为每个计划的每条特定关键词 允许广告主在一个非常短的时间内（一般少于 100ms）用都计算一个出价并参与到竞价中[4]，这些出价都是基于广如用户 cookie 信息和上下文信息。基于大数据时代日趋成时竞价能够实时获取每个广告展现目标受众的特征和兴趣准投放。这种投放模式可以最大幅度地匹配用户的喜好，（Click Though Rate，CTR）和转化率（Conversion Rate，益，也间接地提高了媒体的流量；对用户而言，也极大地提良性的广告投放产业链。

图 2-1 RTB 展示广告生态系统以上各个角色组成了整个 RTB 生态系统。在 2009 年 RTB 出现之前[7]，展示广告市场主要由溢价合同和广告网络组成，其中溢价合同占所有广告展现的 40%。在溢价合同的交易方式中，媒体直接与广告主进行谈判和交易。广告主往往在给定的广告位置上购买一定数量的广告展现，而不管用户的类别、广告展现的时间和次数，广告展现的购买完全依赖于媒体的影响力[24,25]。另一方面，媒体则需要保证有足够的展现量，否则将需

DSP 记录了所有广告展现的投放日志，因此广告主可以通过更细粒度和更高频率来优化投放计划；（3）DSP 的定制化能力更强，能够更好地适应广告主的不同目标，例如，广告主通常会在投放计划中设置广告展现频次上限。DSP 允许将频次设置应用于用户组甚至还能应用到单个用户，以实现最佳效果。另一方面，SSP 为媒体提供了具备各种工具的集中管理控制台，允许媒体对不同的目标进行优化。例如，SSP 允许媒体为特定展位设置保留价格，甚至针对特定广告主设置保留价格。SSP 还允许媒体对不同的竞拍者设置偏好和过滤。2.1.2 实时竞价原理本小节讲述 RTB 的工作原理。整个 RTB 流程包括一开始用户访问网站，再到竞价请求的生成和发送，到最终将竞价胜出的广告展示给用户，一般是在 100 毫秒以内完成的。具体的工作原理如下图所示。
【相似文献】

相关期刊论文 前10条

1 ;实时竞价广告(RTB,Real-Time bidding)市场规模将占美国展示广告市场的13%[J];广告大观(理论版);2012年06期

2 Shailesh Rao;;展示广告“重生”[J];成功营销;2011年08期

3 韩国涛;;机场展示广告的真实感和震撼力[J];声屏世界·广告人;2017年03期

4 姜茜;;网络虚拟展示广告的视觉设计研究[J];艺术与设计(理论);2010年03期

5 杨明;王彤;;浅析网络虚拟展示广告在传统媒体中的视觉效应[J];中国包装;2017年11期

6 华筠;;技术创新,Google发力展示广告[J];广告大观(综合版);2010年10期

7 李小冰,魏满涛;广告英语常用的修辞格[J];郑州经济管理干部学院学报;2003年04期

8 ;两会地方“颜值”报告[J];领导决策信息;2016年11期

9 周再宇;;Google的展示广告[J];新营销;2012年05期

10 卢叶眉;;大数据黄金时代的社交广告潜力[J];声屏世界·广告人;2015年12期

相关硕士学位论文 前10条

1 陈颖;基于深度强化学习的展示广告实时竞价策略[D];华南理工大学;2019年

2 韦玲丽;基于USFD方法的展示广告点击率的预估[D];南京大学;2019年

3 宫晨;展示广告点击率预估模型的设计与实现[D];东南大学;2018年

4 徐田;展示广告点击率预估平台的设计与实现[D];哈尔滨工业大学;2017年

5 张文泽;基于在线学习的展示广告系统研究与设计[D];浙江大学;2016年

6 姜茜;网络虚拟展示广告的视觉传达设计[D];江南大学;2008年

7 严岭;展示广告中点击率预估问题研究[D];上海交通大学;2015年

8 林小溪;在线展示广告的最优合约规模与定价策略研究[D];北京外国语大学;2016年

9 李恒峰;在线分类广告市场研究[D];清华大学;2005年

10 栾倩楠;网络视频广告的应用价值研究[D];浙江传媒学院;2015年

本文编号：2853806