基于宽深度模型的广告点击率预估方法

发布时间：2020-04-19 18:59

【摘要】：随着互联网技术发展的日新月异,传统广告行业正在向新兴的互联网市场转移,与互联网企业营收息息相关的广告点击率相关研究成为了各个互联网企业最为热衷的领域,同时也是学术研究在工业界落地的重要应用场景。面向海量的用户行为数据,如何根据用户行为数据向用户推荐更符合用户需求的广告显得尤为必要。本文着眼于实际的应用场景,利用了用户信息、广告信息和用户历史行为信息,从宽度、深度这两个模型切入,提出了基于宽深度模型的广告点击率预估算法,本文称之为RD-FM算法,从而能更好地对针对不同用户的喜好进行广告推送,提升广告点击率。本文的主要工作包括以下几个方面:(1)调研了有关广告点击率相关国内外研究现状,并分析了它们的优势和存在的缺陷。(2)广告点击率数据预处理:本文分析了点击率预估原始数据存在的问题,提出了一套完整的点击率预估流程,包括对采集到的用户属性、广告信息、用户历史行为的数据清洗、数据采样、数据规约和数据转换。(3)基于宽深度模型的广告点击率预估算法:本文依据谷歌提出的宽深度模型模型,结合Deep-FM算法及广告点击率预估数据集的时序特点,设计了RD-FM算法。该算法分为基于因子分解机模型的宽度层、融合时序特征的深度层以及两者共享的Embedding层和输出层等部分。(4)本文对比多个算法,对算法的有效性进行实验。本文提出的RD-FM算法在AUC、RMSE两个评价指标上与传统的点击率预估算法进行了对比,实验结果表明本文算法相比传统点击率预估算法在AUC和RMSE等指标上具有更好的表现,说明该算法充分发挥了因子分解机模型和时序深度模型的优势。
【图文】：

图 2-1 DNN 模型结构图其中第一层为输入层，一般为特征值，在点击率预估中，尤其特征的稀疏性，一般 Embedding 后的特征。每条神经元的连线代表一个输入的权值，此外还会有一个偏置一个激活函数。从输入层开始，然后经过第一层神经元的运算，得到输出，作为第二的输入，重复这个过程，最后一直到输出层运算，然后得到结果。通过合理地改变权和偏置一点点，可以让这个神经网络最后的结果向预期的结果进军，这整个过程即神网络的训练过程。.2.2 循环神经网络普通的 DNN 模型虽然对大多数线性函数的拟合取得了不错的效果，但是实际的情远比实验中要复杂，而且在其训练的过程中也会出现各种情况。在预训练不充分的情下，DNN 模型也很难得到充分的发挥。针对处理问题时纷繁复杂的情况，许多不同构的深度网络模型被提出。它们通常被运用在各自的细分领域。对于特定的任务，根[37]

图 2-2 RNN 模型结构图从图中可以看到，每个圆圈可以看作是一个单元，每一个单元对应一个时间节点 t，此时的网络都有个一个输入和一个输出，隐藏层的值为。其中的值不仅由此刻的输入值决定，而且还受到之前节点隐藏层的值影响。因此，前面的时序特征会随着序列化的网络一层一层的传递下去，对于所有的节点，当前时刻的输出结果会包含所有之前时刻的特征。所以 RNN 是一个序列到序列的模型，循环神经网络会将前一个神经元的状态层层传递，同时输出本神经的状态，所以可以将循环神经网络的这种特性比喻成人类的记忆力。对于某个广告 V，独热编码后的特征记为。这个向量会作为 t+1 时刻的状态输入到RNN 中，而输出结果就是一个概率向量，代表了被点击的概率。由于 RNN 的特点，，输出结果会综合用户之前的点击信息。通常为了提高 RNN 模型的效率，算法设计者会限制参数传递的时长，假设模型只考虑最近两个会话访问，并将其余的访问记录整合成历史状态节点，其公式可以如下公式（2-11）所示：
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP301.6;F713.8

【参考文献】

中国期刊全文数据库 前2条

1 方敏;;集成学习的多分类器动态融合方法研究[J];系统工程与电子技术;2006年11期

2 于玲;吴铁军;;集成学习:Boosting算法综述[J];模式识别与人工智能;2004年01期

中国硕士学位论文全文数据库 前4条

1 杨志烨;展示广告点击率预估方法研究[D];哈尔滨工业大学;2018年

2 田源;基于深度学习的中文命名实体识别方法研究[D];湖南大学;2018年

3 张茜;移动互联网广告营销研究[D];黑龙江大学;2014年

4 李志;互联网广告精准投放平台的研究[D];华中师范大学;2013年

本文编号：2633630