基于改进深度学习的移动APP广告转化率预估

发布时间：2020-08-19 08:40

【摘要】：在移动APP广告转化率预估场景中,用户交互产生了大量数据,广告转化率预估面临数据高维稀疏、特征间高度交互和用户兴趣模型难以构建等挑战。如何利用大量的高维异构数据,自动获取特征之间的交互关系,并通过采集到的用户行为序列数据构建用户兴趣偏好模型,是实现转化率准确预估的关键,近年来蓬勃发展的深度学习为上述问题的解决提供了可行途径。鉴于此,本文研究基于改进深度学习的移动APP广告转化率预估(简称转化率预估),主要内容如下:(1)基于改进WideDeep自动特征交互关系抽取的转化率预估:针对转化率预估问题特征高维稀疏、特征间高度交互等特点,提出了融合域因子分解机(Field-aware Factorized Machine,FFM)和深度卷积神经网络的改进WideDeep模型,以有效获取高维度稀疏特征的低阶和高阶交互关系,实现特征自动高效组合,提高移动APP广告转化率预估精度。针对稀疏数据的嵌入,提出了基于宽度模块FFM挖掘低阶特征交互关系的特征组合算法;然后,根据FFM所提取隐特征向量,进一步给出了基于深度模块多层卷积神经网络提取高阶交互关系的特征提取策略;最后,将宽度和深度模块分别获取的特征组合用于转化率预估。所提算法在腾讯移动APP广告转化率预估中的应用表明了该方法在提高预估精度上的有效性。(2)融合注意力机制深度学习用户多行为动态演化的转化率预估:转化率与用户兴趣偏好密切相关,而用户兴趣偏好往往通过其行为特征体现,鉴于此,本部分研究基于用户行为特征的转化率预估,考虑用户兴趣模型和行为模型的动态演化性,提出融合注意力机制的深度学习策略,获取用户行为动态演化特征,进而构建基于该特征的转化率预估模型。首先,构建基于GRU和注意力机制的用户单个行为序列模型,将提取出的用户行为嵌入表示作为用户行为的动态变化特征;然后,利用自注意力(Self-attention)对用户的多行为动态演化进行建模;最后融合所提取的用户多行为序列向量作为用户的行为特征,构建移动APP广告转化率预估模型。实验结果表明所提取的用户行为序列特征能有效改善转化率预估效果。(3)基于交互特征和用户多行为动态演化集成的转化率预估:基于研究内容(1)和(2),提出融合交互特征和用户行为序列特征的转化率预估方法。首先,对机器学习中模型集成策略及收益进行分析;然后,给出交互特征和用户多行为动态演化特征集成的移动广告转化率预估框架;最后,给出基于加权平均和Stacking机制的集成算法,通过在腾讯移动APP广告转化率预估的应用实验,表明了所提集成方法的有效性。
【学位授予单位】：中国矿业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.56;TP181
【图文】：

权重,下载,行为,实验结果

图 4-3 下载行为不同融合权重得到的实验结果ure 4-3 Experimental results obtained by different download behavior fusion weights上图中可以得到当用户的下载行为的融合权重为 0.6，用户点击行为为 0.4 时，得到了最好的实验结果。但是这种手动设置参数对用户行为的方式在实际中存在参数调节工作量巨大的问题，并且当有多个行为，手工融合的难度更是成倍的增加。这种行为信息的融合方式也只是融合，没有考虑多个行为之间的相互影响，只是考虑了行为对最终结权重。本章的方案旨在能够对用户多个行为之间的相互影响进行建模一个用户行为特征的融合表达。因为自注意力机制可以建模多个元素相互影响，所以采用自注意力机制（Self-attention）建模用户行为之响。于用户多行为向量的融合方式也可以采用直接将两个特征向量进行拼。然后将拼接后的行为特征向量和广告特征，上下文特征等再次嵌入作为多层神经网络的输入，来进行广告转化率的预估。在这种情况下上的准确率为 0.742，其效果逊色于用户行为特征加权融合的策略。进

序列,融合策略,实验结果

图 4-4 不同融合策略下得到的实验结果Figure 4-4 Experimental results obtained under different fusion strategies4.4.4 转化率预估的对比实验结果为了验证本章所提出模型对广告转化率预估的有效性，分别在没有进行行为序列建模，如下实验组①②③④，以及进行了用户行为序列建模的对照组，如实验组⑤⑥，进行对照实验。首先对选取的实验对照模型进行简要介绍：① BaseModel：基础对照模型的嵌入操作和多层神经网络的设置和本章的模型采用一样的参数。② Wide&Deep[18]：Wide&Deep 模型是由两部分组成，其深度部分和基础模型的设置是一样的，其 Wide 部分是一个线性模型，该部分输入的是手工自动交叉得到的特征。③ DIN[80]：DIN 使用了注意力机制去激活相关的行为来获取用户对于不同广告的兴趣的自适应表达。④ Two layer GRU Attention：使用了双层 GRU 和注意力机制去提取用户单行为序列的信息。

注意力机制,实验结果

DINTwo layer GRUDIEN本章方法0.7190.7380.7410.7520.7520.7680.7750.7910.5730.5600.5560.543由表 4-2 可知，在预测精度、AUC 以及 Logloss 三个性能指标方面都优于所比较的算法。并且与阿里 2018 年提出的 DIEN 算法比较，在本章使用的数据上本章所提方法的实验结果也是有约 1.1%的提升效果，这也充分说明本模型考虑用户多种行为之间的相互影响，对于准确的建模行为模型是有效果的。相比较于没有进行考虑用户行为时序建模的模型，如 Wide&Deep、DIN 模型，模型的精度分别有 4%和 3.3%的提升效果，说明考虑用户的时序行为能够建模更精准的用户兴趣模型。4.4.5 可视化用户行为序列的提取GRU 单元中的隐含层状态可以反映出用户兴趣的进化过程。因此可以通过可视化隐含层的状态来发现不同的目标广告对于用户兴趣进化的影响。因此可以通过对用户点击行为序列进行可视化来形象化表示这种影响作用。

【相似文献】